Первый античный храм Зевса был построен здесь при Писистрате около 550 г. до н.э., но разобран сразу же после его смерти в 527 г. до н.э. Строительство колоссального храма Зевса Олимпийского началось около 520 г. до н.э. старшими сыновьями Писистрата – Гиппием, который унаследовал его власть отца, и Гиппархом. Они захотели создать храм, который бы превосходил по размеру знаменитый храм Геры на острове Самос, храм Аполлона Дидимейон в Милете и храм Артемиды в Эфесе, бывший одним из семи чудес света. Строение, чей план был разработан архитекторами Антистатом, Каллесхросом, Антимахидом и Пориносом, должен был быть построен из известняка в дорическом стиле и размещен на огромном основании размером 108х41 м. По периметру должна была быть установлена двойная колоннада: по 8 колонн в два ряда на коротких сторонах и по 17 колонн в два ряда на длинных сторонах.
Возведение храма остановилось, когда в 510 г. до н.э. Гиппий был свергнут, и Клисфен провел реформы, после которых афинянам было не до строительства. К этому времени было закончено только основание и некоторые части колонн. В таком виде храм простоял следующие 336 лет, поскольку в демократических Афинах считалось непозволительным строить здания с таким размахом. В трактате "Политика" Аристотель называл храм Зевса Олимпийского примером того, как тирания заставляла людей трудиться на больших стройках, не оставляя им времени и сил на организацию восстания. Материалы этого храма впоследствии использовали для строительства восточной части Фемистокловой стены.
О проекте вспомнили только в 174 г. до н.э. при правлении сирийского царя Антиоха IV Эпифания, считавшего себя земным воплощением Зевса. Его архитектор Децим Коссиций переработал проект храма, изменив стиль на коринфский, добавив к коротким сторонам еще по одному ряду колонн, и сократив общее количество колонн на длинных сторонах до 20. Таким образом, в сумме у храма должно было появиться 104 колонны. Дешевый известняк заменили на дорогой и качественный пентелийский мрамор. Однако строительство вновь остановилось в 164 г. до н.э. из-за смерти Антиоха, и храм остался незавершенным. Сохранившиеся до нашего времени колонны относятся к этому периоду.
В 86 г. до н.э., после успешной осады Афин Сулла перевез несколько незавершенных колонн в Рим, где они были установлены в храме Юпитера на Капитолийском холме. Во время правления императора Августа была сделана еще одна безуспешная попытка завершить храм Зевса.
Достроен храм был только во II веке н.э. при римском императоре Адриане, поклоннике греческой культуры. Храм был включен в программу масштабного строительства после посещения императором Афин в 124–125 гг. В окончательном виде храм был возведен в 132 г., то есть более чем через 600 лет после начала строительства. В него были включены уцелевшие старые колонны и новые высотой 17 м, диаметром 2 м и весом 364 т. Размер храма был сокращен до 96 м в длину и 40 м в ширину.
Храм Зевса Олимпийского в Афинах – единственный пример сооружения храма в коринфском ордере. Впервые коринфский ордер здесь выступает как монументальный, а не декоративный, только дополняющий внутреннее убранство храма.
По свидетельству Павсания, колоссальная статуя Зевса в храме была сделана из золота и слоновой кости – вероятно, в порядке подражания Фидию. Павсаний, скупой на похвалы, в данном случае определил, что статуя сделана пропорционально и с большим искусством.
При входе в храм стояли статуи Адриана – две из фасосского мрамора, две из египетского, а перед колоннами храма стояли еще и медные статуи императора. Каждый аттический город (включая колонии) стремился посвять богу и императору свою статую. Афиняне же поставили позади храма колоссальную статую Адриана, превзойдя все другие изваяния в святилище.
Из прочих скульптур Павсаний отметил медного Зевса, мраморные изображения персов, поддерживающих медный треножник (вероятно, подарок Афинам от Адриана), а также портерное изображение Исократа, знаменитого философа, прожившего почти сто лет и покончившего с собой после получения известия о поражении всегреческой армии в битве при Херонее.
После завершения строительства храма Зевса, около 131 г. у его северо-западного угла на дороге, ведущей от старого города к новому, были поставлены триумфальные ворота, которые назвали "аркой Адриана". На ее архитраве высечено две надписи. На стороне с видом на Акрополь "Это Афины древний город Тесея", на стороне с видом на новый город "Это город Адриана, а не Тесея". Арка находилась у дороги за территорией святилища.
Подобные строения ставили во времена правления Адриана по всей Римской империи.