К концу правления Соломона (около 930 года до н. э.) десять северных колен Израилевых откололись от Объединенной Монархии. Южные племена остались в Иерусалиме, который стал столицей Иудейского царства.
В 586 году до н. э. город захватили вавилоняне, которые забрали в плен царя Цедкиягу вместе с высокопоставленными жителями Иудеи, опустошили и сожгли Храм Соломона до самого основания и разрушили городские стены. Ковчег Завета был при этом утерян. Большинство жителей Иерусалима были убиты, оставшиеся взяты в плен и угнаны в рабство в Вавилонию. Так завершился период Первого Храма.
В 538 году до н. э. завоевавший Вавилонию персидский царь Кир Великий издал декрет, разрешивший изгнанникам возвратиться в Иудею и восстановить Иерусалимский храм. Около 333 года до н. э. Иерусалим и вся Иудея без сопротивления покорились Александру Македонскому, который подтвердил привилегии, данные городу персидскими правителями. Однако после смерти Александра Иерусалим был захвачен и частично разрушен правителем Египта Птолемеем I Сотером, а в 167 году до н. э. Антиох IV Эпифан осквернил Храм, поставив на Жертвенник всесожжения алтарь Зевса Олимпийского. Это спровоцировало восстание Маккавеев (167–163 годы до н. э.). Греческие завоеватели были изгнаны из страны. Воцарилась династия Хасмонеев, правившая до 63 года до н. э., когда город стал административным центром римского протектората Иудея. В 37 г. до н. э. Иерусалим был захвачен Иродом Великим, который принял решение о переустройстве Храмовой горы и о перестройке самого Храма.
В 70 году при подавлении великого иудейского восстания против римлян, вошедшего в историю как Первая Иудейская война, Иерусалим осадила римская армия во главе с Титом. Девятого Ава Храм запылал. Через некоторое время Иерусалим был превращен в руины, а Храмовая гора распахана. В 130 году император Адриан повелел построить на развалинах Иерусалима римскую колонию, которой было дано название Элия Капитолина. На месте Храма Адриан приказал воздвигнуть святилище, посвященное Юпитеру, а на том месте, где некогда находилась Святая Святых, была воздвигнута конная статуя Адриана. Это вызвало новое еврейское восстание против Рима (Восстание Бар-Кохбы или 2-я Иудейская война, 132–136 годы). Летом 135 года восстание было подавлено. Адриан издал декрет, по которому всем, кто подвергся обрезанию, доступ в город запрещался.
В 325 году римский император Константин I вернул название «Иерусалим» и восстановил город как центр христианского богослужения. Константин распорядился о сооружении в городе христианских святых мест, включая (в 335 году) Храм Гроба Господня.
В V веке начался византийский период в истории Иерусалима. На протяжении нескольких десятилетий Иерусалим переходил от византийского правления к персидскому, затем снова оказывался римско-византийским владением. В 638 году Патриарх Софроний I сдал Иерусалим новому завоевателю, арабскому халифу Умару ибн аль-Хаттабу, и Иерусалим постепенно начинает приобретать мусульманский облик. Чуть позже в Иерусалиме был провозглашен халифом Муавия I, основатель династии Омейядов.
В 1099 году участники Первого крестового похода под предводительством Готфрида Бульонского захватили Иерусалим и уничтожили все его мусульманское население. Город стал столицей Иерусалимского королевства. В 1187 году, после непродолжительной осады, Иерусалимом овладели войска египетского султана Салах ад-Дина (европейцы называли его Саладином). Все церкви города, кроме храма Воскресения, были обращены в мечети. В 1229 году Фридриху II удалось на время вернуть Иерусалим христианам. Однако в 1244 году Иерусалим захватили Айюбиды.
В 1517 году Иерусалим был захвачен османскими турками. При Сулеймане Великолепном Иерусалим процветал, переживая период мира и обновления, включая восстановление мощных стен вокруг территории, ныне именуемой «Старым городом». Правление Сулеймана и последовавших за ним османских султанов принесло городу период «религиозного мира»; еврей, христианин и мусульманин пользовались свободой вероисповедания, гарантированной османами, и на одной и той же улице можно было найти синагогу, церковь и мечеть. Однако безграмотное управление империей после Сулеймана обусловило экономическую стагнацию; на протяжении большой части османского периода Иерусалим оставался провинциальным – хотя и религиозно значимым – центром.
В 1850-е годы возникают первые постоянные поселения за пределами стен Старого города. По мере того как эти общины росли и соединялись географически, они стали известны под названием «Новый город».