Сын Адама Шис (Сиф) сменил деревянное святилище на каменную Каабу. Во времена Пророка Нуха (Ноя), на время потопа, Кааба была вознесена на небеса и потом возвращена. Но место ее было забыто, а Кааба разрушена. Позже Пророк Ибрахим (Авраам) по приказу Аллаха вновь возвел Каабу на этом же самом месте. Его последователи совершали паломничество к Каабе, поклоняясь небесной Каабе, вокруг которой совершают таваф (ритуальные обходы святилища) ангелы.
Постройкой Каабы Ибрахим руководил, стоя на плоском камне, который парил над землей. Камень был принесен архангелом Гавриилом для облегчения строительства и служил чем-то вроде лесов. Этот камень, с отпечатком ступни Ибрахима, называется Макам Ибрахим («место стояния Ибрахима», в переводе на русский) и находится в нескольких метрах от Каабы.
Известно, что уже в III веке до нашей эры Кааба была пантеоном арабских племен: внутри нее было размещено до 360 изображений богов. По некоторым данным, в центре Каабы находился идол Хубала – божества племени курайш в образе человека с золотой рукой, который считался повелителем небес, властелином грозы и дождя. Жители Мекки не препятствовали, подобно римлянам, внесению чужих богов в свой храм, а наоборот, всячески поощряли это, делая свой город центром различных верований.
Около изображений богов арабы приносили жертвы и гадали.
Возможно, в мусульманских преданиях и преувеличивается значение Каабы для тогдашнего арабского мира, но, тем не менее, мекканский календарь был принят по всей территории Аравии задолго до пришествия ислама. Это говорит о том, что Мекка была не только самым крупным городом на полуострове, но и еще городом-законодателем культуры и религии.