Когда весной 63 г. до н. э. Помпей въехал в Иерусалим, любопытство привело его на гору Мориа. Тактично, ничего не трогая, он выразил восхищение по поводу золотых украшений, которые окружали алтарь, а затем без всякой задней мысли отодвинул занавес и вошел в Святая святых. Его новые подданные, стоявшие поодаль, были ошеломлены: ведь только верховному священнослужителю было дозволено входить туда, да и то лишь один раз в году, поэтому они никогда не смогли простить гордому римлянину его святотатства. Пока бушевали страсти, Помпей вышел из-за занавеса и сообщил, что не видел ни одного изображения бога.
На пороге новой эры Иерусалим находился в руках царя Ирода. Он был мудрым государственным деятелем и принес мир и процветание Иудее, неизвестные со времен Соломона. Он много строил, и одним из первых сооружений был храм на горе Мориа. Прежде чем возвести новый храм, Ирод должен был разрушить старый, не вызвав возмущения народа. И Ирод нашел выход. Он собрал тысячу священнослужителей, обученных строительному делу. Они по камню разобрали древний храм и в то же время начали строить новый с помощью 18 тыс. обыкновенных каменщиков. Возведение этого храма началось в 20.г. до н. э. и длилось 83 года. Сам Ирод так и не увидел этого сооружения.
Иосиф Флавий писал, что при восходе солнца «храм, блистал так ярко, отражая солнечные лучи, что никто не мог смотреть на. него». А на расстоянии он выглядел как «сверкающая снегами горная вершина». Террасы храма состояли из огромных гранитных глыб до 20 м. длиной. Эти каменные блоки были тщательно подогнаны друг к другу, с тем чтобы их не сдвинуло даже землетрясение. Местами они возвышались сплошной стеной до 150 м высотой. Стена заканчивалась двойной колоннадой, которая окружала храмовой внешний двор для неевреев. От него поднимались лестницы к девяти золотым и серебряным воротам. Они вели сначала во двор для женщин, а затем во двор для израильтян, куда был разрешен вход только верующим. Над ними располагался великий жертвенник, а еще выше поднимался 50-метровый фасад собственно храма. Все сооружения были украшены белым мрамором и золотом, и даже шипы на крыше храма, предохраняющие ее от голубей, были золотыми.
Построенный Иродом храм просуществовал всего шесть лет. Сын императора Веспасиана Тит в 70 г. вошел в Иерусалим и приказал разрушить город и святыни иудеев. Вплоть до арабских завоеваний робкие попытки иудеев и христиан возвести какое-либо сооружение на священной скале заканчивались неудачей.
После взятия Иерусалима в 638 г. халифом Омаром скалу, на которой находился жертвенник храма, несколько дней очищали от мусора, скопившегося здесь за много веков. Причем в генеральной уборке принимал участие и сам халиф, что было отмечено мусульманскими летописцами. В 685–691 гг. по приказу омейядского халифа Абд аль-Малика ибн Мирвана на этом месте была построена мечеть Кубба ас-Сахра. Однако во многих работах западных исследователей она называется «мечетью Омара». Некоторые арабские историки, правда, указывают, что после взятия Иерусалима Омар встретился с греческим патриархом Софроном, который сопровождал его в прогулке по горе Мориа, и указал, на запущенную и требующую опеки священную скалу. Омар действительно построил в Иерусалиме мечеть, но ученые расходятся во мнении относительно ее месторасположения, так что достоверно неизвестно, была ли она сооружена на скале или в другом районе города.
История сохранила имена строителей мечети. Это Раджа ибн Хайят Джут аль-Кинди и Язид ибн Салам. После завершения работ от суммы, выделенной на строительство, осталось 100 тыс. динаров, и халиф, удовлетворенный работой, приказал передать их строителям. Однако они отказались принять дар, заявив, что готовы добавить к этой сумме драгоценности своих жен, с тем, чтобы украсить мечеть еще роскошнее. Оставшимся золотом отделали двери и купол, а в ненастье их покрывали войлочными кошмами. Омейядские и аббасидские халифы отпускали деньги на уход и ремонт здания мечети.
Кубба ас-Сахра с первых дней своего существования стала одним из важных мест почитания мусульманского мира. Каждый четверг и пятницу служители мололи шафран, смешивали его с мускусом, амброй и розовой водой и оставляли до понедельника, чтобы этим составом протереть скалу длиной 17 м, шириной 13 м, и высотой 3 м. Затем они приглашали мусульман, и те, — как и в Мекке перед Каабой, несколько раз с молитвами обходили Священную скалу.
Крестоносцы захватили Иерусалим в 1099 г. и почти 100 лет контролировали положение в Палестине. Они превратили мечеть в церковь, водрузили на скале алтарь, у входа — фигуру Христа, а над куполом — Золотой крест. Крестоносцы огородили скалу железной решеткой от своих не в меру ретивых единоверцев, варварски откалывавших куски камня для продажи пилигримам. В эпоху крестоносцев Кубба ас-Сахра стала образцом для строительства храмовых сооружений в средневековой Европе. Так, по ее образцу в Париже была построена церковь Сен-Шапель.