耶路撒冷長期以來是巴勒斯坦人和以色列人聚居的城市。相傳公元前10世紀，大衛的兒子所羅門繼位，在耶路撒冷城內的錫安山上修建了一座猶太教聖殿，是古猶太人進行宗教和政治活動的中心，於是猶太教就把耶路撒冷作為聖地。後來在聖殿廢墟上築起一道城牆，猶太人稱為“哭牆”，成為當今猶太教最重要的崇拜物。

耶路撒冷老城始建以來，已經重建和修復過18次之多。公元前1049年，曾為大衛王統治下的古以色列王國老城。公元前586年，新巴比倫（今伊拉克）國王尼布甲尼撒二世攻陷此城，把它夷為平地。公元前532年，又為波斯大琉士王侵佔。公元前4世紀後，耶路撒冷相繼附屬於馬其頓、托勒密、塞琉古諸王國。公元前63年羅馬攻佔耶路撒冷時，他們驅逐了城內的猶太人。羅馬人在巴勒斯坦對猶太人的暴政，引起了四次大規模的起義，羅馬人進行了血腥鎮壓，屠殺了一百多萬猶太人，並有大批猶太人被掠往歐洲，淪為奴隸。劫後餘生的猶太人紛紛外逃，主要去向是現今的英、法、意、德等地區，後來又大批流向俄國、東歐、北美等，從此開始了猶太人悲慘的流散史。公元636年，阿拉伯人打敗了羅馬人，此後，耶路撒冷長期處於穆斯林統治之下。

11世紀末，羅馬教皇和歐洲的君主們以“收復聖城”的名義，多次發動十字軍東征，1099年十字軍攻佔耶路撒冷，隨後在此建立“耶路撒冷王國”，延續近一個世紀。1187年，阿拉伯的蘇丹薩拉丁在巴勒斯坦北部的赫澱一役，大敗十字軍，收復了耶路撒冷。從1517年到第一次世界大戰前，耶路撒冷一直處於奧斯曼帝國統治之下。

耶路撒冷南部17公里的伯利恆鎮附近，有一個名叫馬赫德的山洞，據說耶穌就降生在這個山洞裡，現在那裡建有馬赫德教堂。耶穌年輕時曾在耶路撒冷求學，後又在這裡佈道，自稱基督（即救世主），後被猶太當局釘死在城外的十字架上，並埋葬在那裡。傳說耶穌死後3天從墓中復活，40天后昇天。

公元335年，古羅馬皇帝君士坦丁一世的母親希拉娜太后巡遊到耶路撒冷，在耶穌的墓地上修建了一座復活教堂，又稱聖墓教堂，因此基督教都把耶路撒冷奉為聖地。

公元7世紀初，伊斯蘭教先知穆罕默德在阿拉伯半島傳教，在麥加城受到當地貴族的反對。一天夜裡，他從夢中被喚醒，乘騎由天使送來的一匹有女人頭的銀灰色牝馬，從麥加來到耶路撒冷，在這裡踩在一塊聖石上，飛上九重天，在直接受到上天啟示後，當夜又返回麥加城。這就是伊斯蘭教中有名的“夜行和登宵”，是穆斯林的重要教義之一。由於這夜遊神話，耶路撒冷也就成了伊斯蘭教僅次於麥加、麥地納的第三聖地。

正是由於耶路撒冷是三大宗教聖地，為了爭奪聖地，自古以來，在這裡不知發生過多少次殘酷的征戰。耶路撒冷先後18次被夷為平地，但每次之後都得到復興，根本原因就在於這是一座世界公認的宗教聖地。1860年以前，耶路撒冷有城牆，城區分4個居民區猶太居民區、穆斯林居民區、亞美尼亞和基督教居民區。那時，已佔該城人口多數的猶太人，開始在城牆外建立新的居民區，形成了現代耶路撒冷的核心。從一個小鄉鎮轉變為一個繁榮的大都市，形成許多新的居民區，每一個居民區都反映了那裡特定聚居群體的特性。

1917年盟軍佔領耶路撒冷。1922年起由英國“託管”。1947年11月聯合國大會通過了關於巴勒斯坦分治的第1818號決議，規定耶路撒冷由聯合國管理。1948年5月第一次中東戰爭爆發後，以色列旋即佔領了耶路撒冷西區，並在1950年宣佈耶路撒冷為首都。耶路撒冷城東區遂由約旦控制，1967年第三次中東戰爭時，以色列進而佔領全城。1980年7月以色列議會透過法案，將耶路撒冷定為以色列“永恆和不可分割的”首都。此舉引起了阿拉伯世界和國際輿論的強烈反應。1988年11月，巴勒斯坦全國委員會第19次特別會議透過《獨立宣言》，宣佈耶路撒冷為新成立的巴勒斯坦國首都，包括中國在內的100多個國家予以承認。

90年代初，巴勒斯坦人在國際社會各方力量的斡旋下，開始了與以色列和談的歷程。

1993年，巴以雙方在華盛頓簽署的第一個和平協議規定，耶路撒冷問題將在巴以最後階段談判中解決，此前任何一方均不得采取單方面的行動改變現狀。1999年9月，巴以雙方在埃及簽署的《沙姆沙伊赫備忘錄》也規定，雙方將在2002年2月就耶路撒冷地位等棘手問題達成框架協議，9月達成永久性和平協議