La ciudad resistió a través de los años los ataques de sus poderosos vecinos, pasando también por diversas etapas de vasallaje hasta el año 587 a. C. durante el reinado del último rey de Judá, Sedecías, cuando fue conquistada y arrasada por el rey Nabucodonosor II.

El reino de Judá pasó a ser una provincia del Imperio Babilónico o Imperio Caldeo y la mayoría de la clase regente judía sería enviada al destierro en Babilonia.

En el año 530 a. C. el rey persa Ciro II el Grande conquistó el Imperio Babilónico y permitió el regreso de las comunidades judías deportadas, a la provincia de Judá; éstas regresaron a Jerusalén y reconstruyeron la ciudad y el Templo de Salomón.

En 332 a. C. Alejandro Magno conquistó el Imperio Persa y la ciudad no sufrió destrucciones. A la muerte de Alejandro, Judá o Judea, y Jerusalén pasaron a formar parte del Imperio Seléucida, el que a su vez sería anexado al Imperio Romano el 64 a. C. por el general romano Cneo Pompeyo Magno, después de derrotar a dicho Imperio.

Jerusalén sufrió el asedio y la conquista romana, con la destrucción de sus muros y la anexión al Imperio romano.

La ciudad de Jerusalén se recobró durante el mandato del general Marco Vipsanio Agripa, que ordenó la construcción de un nuevo muro llamado la Tercera Muralla, permaneciendo la ciudad bajo la administración de una elite religiosa, los asmoneos, cuando ocurrió una revuelta judía que implicó nuevamente el asedio romano a Jerusalén, y la toma y destrucción de la ciudad el año 70. a.C. realizada por el general romano Tito Flavio Sabino Vespasiano.

El año 21 a.C el rey Herodes el Grande restauró la ciudad y el Templo, existiendo aún en pie una parte llamada el Muro de las Lamentaciones, de gran importancia en la religión judía.