Когда в 324 г. император Константин I овладел Эрец-Исраэлем, Иерусалим приобрел христианский облик. На месте предполагаемого захоронения Иисуса была воздвигнута церковь Гроба Господня. Положение резко изменилось в правление Юлиана Отступника, который намеревался возвратить Иерусалим евреям и в 363 г. распорядился восстановить Храм. Однако случившееся вскоре землетрясение, а несколькими месяцами позже – смерть Юлиана привели к тому, что евреям снова запретили проживать в Иерусалиме. Лишь в 438 г. благодаря заступничеству императрицы Евдокии им было вновь разрешено проживать в городе, отстроенном и значительно расширенном в период ее правления.
В 614 г. персы под предводительством Хосрова II осадили Иерусалим. Взятие города сопровождалось кровавой резней и разрушением христианских святынь; патриарх был уведен в плен. Евреи видели в персах избавителей от насильственного обращения в христианство и поддерживали их. За помощь при взятии города персы передали Иерусалим евреям. Однако в 617 г. они передали власть христианскому большинству, казнив Нехемию и его приближенных.
Когда в 629 г. византийцы во главе с императором Ираклием вновь овладели Иерусалимом, они учинили беспощадную расправу над евреями и изгнали их из города.
В 638 г. патриарх Софроний сдал Иерусалим без боя стоявшему во главе арабских завоевателей халифу Омару ибн аль-Хоттабу. Халиф строит первую в Иерусалиме мечеть в том месте, где сейчас стоит мечеть Аль-Акса. Он же разрешает 70 еврейским семьям поселиться там, где сейчас находится Еврейский квартал Старого города.
В 716 г. резиденция халифов перенесена в Рамлу и Иерусалим утрачивает значение административного центра. В период антиомейядских волнений последний из халифов этой династии Маруан II приказывает сровнять стены Иерусалима с землей…
Начавшееся в 750 г. владычество династии Аббасидов, резиденция которых находилась в Багдаде, ознаменовало собой начало длительного упадка Иерусалима. Тем не менее правители династии приезжали в Иерусалим, и по их приказанию были восстановлены городские стены. В 800 г. Гарун аль-Рашид передал христианские святыни Иерусалима под покровительство Карла Великого, что дало толчок к строительству христианских храмов и монастырей в городе.
В 878 г. вся территория Израиля была присоединена к египетскому султанату, и с тех пор и вплоть до Османского завоевания в 1516 г. (за исключением периода 1099–1187 гг., когда город был столицей королевства крестоносцев) Иерусалим находился под властью египетских правителей. Он не играет важной роли в политических событиях на Ближнем Востоке и лишь изредка упоминается в летописях. Однако арабские историки сообщают, что правителей Египта погребали в Иерусалиме.
Религиозная вражда между общинами мусульман, христиан и евреев Иерусалима не раз выливалась в кровавые стычки. Так, в 938 г. мусульмане, а в 966 г. мусульмане и евреи учинили антихристианские погромы, разграбили и сожгли церковь Гроба Господня и другие святыни. Во время этого погрома убит иерусалимский патриарх, а труп его сожжен.
В 1071 г. Иерусалим был захвачен сельджуками и присоединен к великой империи султанов Ирака и Персии. В 1098 г. Фатимидам удалось вновь овладеть Иерусалимом. Однако через год, 15 июля 1099 г., город был после сорокадневной осады взят крестоносцами.
Крестоносцы, обосновавшиеся здесь надолго, превратили Иерусалим в столицу Иерусалимского королевства. В первые годы их правления, ознаменованные смутами и экономическим бездействием, город оставался почти безлюдным. Но к середине XII в. начался расцвет Иерусалима: на том месте, где когда-то находился дворец Ирода, строятся королевский и патриарший дворцы, а поблизости – монастыри и дормитории рыцарей различных орденов; тысячи паломников из всех уголков христианской Европы стекаются сюда…
Большинство населения Иерусалима в XII в. состояло из европейцев, по большей части – французов, и основным языком общения был французский. Жили здесь также группы немецких, испанских, провансальских и венгерских рыцарей. В городе проживали и так называемые восточные христиане-сирийцы.
Во время правления крестоносцев шла мощная христианизация Иерусалима. Многие мусульманские святыни были превращены в церкви (например, мечеть Купол над скалой – в церковь Храма Господня, мечеть Аль-Акса – в церковь Соломона, главную резиденцию ордена тамплиеров). Интенсивно строились новые церкви (наиболее значительной в архитектурном отношении была новая церковь Гроба Господня, освященная в 1149 г.).
На протяжении XII в. возникли и укоренились христианские предания и традиции, связанные с Иерусалимом и его окрестностями, в особенности – легенды о жизни Иисуса (например, предание о крестном пути – Виа Долороза).