Una prima volta, nel 587 a. C., il tempio fu distrutto dal re di Babilonia, Nabucodonosor, nel corso della guerra condotta contro l’Egitto per la conquista della Siria. Di queste vicende rimangono testimonianze nelle iscrizioni su tavolette ritrovate nella zona dove sorgeva Babilonia e in numerosi reperti archeologici trovati a Gerusalemme. Il tempio era stato costruito dal re Salomone intorno al 960 a. C. per essere “la casa di Dio”. Sorgeva sulla spianata dove oggi si trovano le moschee di Al Aqsa e di Omar.
Distrutto due volte. Fu ricostruito nel 515 a.C., dopo che Ciro il grande, re dei Persiani, conquistata Babilonia, permise agli ebrei di lasciare questa città, dove li aveva deportati Nabucodonosor. Il tempio fu arricchito e abbellito in epoca romana, tra il 20 a. C. e il 66 d.C. Fu distrutto definitivamente dall’imperatore Tito nel luglio del 70 d.C., per soffocare la rivolta degli ebrei contro Roma. La distruzione divenne ancora più radicale sessant'anni dopo, quando Adriano rase completamente al suolo Gerusalemme in seguito all'ennesima sommossa.