Alrededor del año 135, el emperador Adriano decidió reconstruir la ciudad con el nombre de Aelia Capitolina, lo que provocó una revuelta entre los judíos, que terminó en 135 con la victoria romana y la expulsión y exilio de la mayor parte del pueblo judío, conocida como la Diáspora.
El territorio de Judea pasó a ser la provincia romana de Siria Palestina o Palestina.
El destino de Jerusalén siguió ligado a sucesivas conquistas y conflictos, formando parte del Imperio Romano de Oriente o Imperio Bizantino, dentro del cual fue una de las cuatro sedes de importancia religiosa doctrinal del cristianismo, junto con Constantinopla, Antioquía y Alejandría.
El año 326, el emperador Constantino I el Grande mandó a levantar la Iglesia del Santo Sepulcro, que se constituyó en uno de los principales lugares religiosos del cristianismo.
El año 614 el Imperio Sasánida conquistó la ciudad, rigiéndola hasta el año 638, siendo desplazado por la expansión musulmana que ocupó la ciudad incorporándola al Califato Omeya de Damasco, al califato Abbasí y al Imperio Otomano sucesivamente.
Entre los años 687 y 691 se construyó la Cúpula de la Roca. En 710 se terminó de erigir la Mezquita de Al-Aqsa. Ambos templos son importantes puntos religiosos de la religión musulmana.
En 1095 el papa Urbano II predicó en el Concilio de Clermont la Primera Cruzada dirigida a conquistar Jerusalén de los musulmanes. El noble francés Godofredo de Bouillon logró este cometido y luego de efectuar una masacre conquistó la ciudad y creó el Reino de Jerusalén del cual fue su hermano Balduino I, el primer representante con el título de Rey de Jerusalén.
Durante los siguientes años la presencia de las Ordenes Militares cristianas fue intermitente en la ciudad, alternado con la presencia de tropas musulmanas, entre los cuales se distinguió Saladino, que asedió y conquistó definitivamente la ciudad en el año 1244.
Las murallas de Jerusalén fueron destruidas y reconstruidas muchas veces. Las actuales murallas fueron levantadas en 1538 por el sultán otomano Solimán el Magnífico y continuó bajo dominio otomano hasta el final de la Primera Guerra Mundial.
Las murallas tienen una extensión aproximada de 4,5 km y su altura varía entre los 5 y 15 m, con un espesor de 3 m. Tienen 43 torres de vigilancia y 11 puertas, de las cuales sólo 7 están abiertas.