Карьера Растрелли завершилась вскоре после восхождения на престол Екатерины II. Во времена ее правления Санкт-Петербург сильно отличался от столицы эпохи Елизаветы. Казалось, немецкая принцесса привезла вместе с собой иной архитектурный стиль. Екатерининская Россия являлась одним из центров мировой политики, а город на берегу Невы – резиденцией великой государыни, правившей империей, экономическая и военная мощь которой вызывала уважение.
В первой половине XVIII века барокко подвергался критике за излишнюю декоративность. Сам термин, уже изначально имевший негативный оттенок, со временем стал синонимом отсутствия вкуса. На смену вычурному стилю пришел ясный и строгий классицизм (от лат. classicus – «образцовый»), который более соответствовал веяниям времени и увлечениям новой императрицы. Его сторонники обращались к античному наследию, находя в благородной простоте и норму, и пример для подражания. Архитектуре классицизма присущи геометризм линий, скупость сдержанного декора, логичность планировки.
Просвещенной государыне претила вычурность елизаветинского барокко, поэтому Растрелли, как проводник этого стиля, был уволен. В 1762 году архитектор, посвятивший жизнь служению России, остался без работы, а затем покинул столицу, и по слухам, уехал в Швейцарию. Царскую резиденцию завершили другие зодчие, которым довелось открыть новую страницу в истории дворца, став свидетелями основания и развития Эрмитажа.
С начала XVIII века русская знать приятно проводила время в уютных павильонах, именовавшихся французским словом ermitage («место уединения»). Изящные постройки предназначались для отдыха в дружеской компании и, как правило, возводились в глубине парка или сада. Мечтая об уединении в Зимнем дворце, Екатерина не задумывалась о трудности устройства традиционного Эрмитажа в городском поместье, где отсутствовал не только парк, но и вообще какой-либо участок с растительностью.
Решение трудной задачи нашлось в чертежах преподавателя Академии художеств Жана Батиста Мишеля Валлен-Деламота (1729–1800). Стараниями придворного зодчего Юрия Матвеевича Фельтена (1732–1801) вблизи восточного фасада дворца появился Висячий сад с фонтаном, редкими видами растений, яркими птичками и золотыми рыбками, плавающими в бассейне из яшмы. Выстроенный на территории сада Ближний павильон (ныне Южный) был связан с Зимним дворцом внутренним переходом. За спиной императрицы это сооружение назвали «дом фаворитов».
Собственно Эрмитажем являлся павильон на противоположной, северной стороне Висячего сада. Строившийся в 1767–1769 годах по проекту Валлен-Деламота, в екатерининские времена он звался по фамилии создателя Ламотовым (ныне Северный). Карьера его автора состоялась благодаря графу Шувалову, пригласившему молодого француза в Россию на должность архитектора при Московском университете. Заключив трехлетний контракт, Валлен-Деламот переехал в Санкт-Петербург, где остался на четверть века. Первой крупной его работой стал Гостиный двор на Невском проспекте, далее он строил костел Святой Екатерины, дворец графа И. Г. Чернышова, склады «Новая Голландия» и часть здания Академии художеств.
Одной из лучших работ архитектора является примыкающее к Зимнему дворцу здание Малого Эрмитажа. Горизонтальные членения выходящего на Неву фасада согласуются с архитектурой дворца, подчеркивая ансамблевый характер застройки набережной. Характерная для раннего классицизма ясность композиции здесь, как и во всех постройках Валлен-Деламота, сочетается с барочной пластичностью форм. Он долго преподавал в петербургской Академии художеств, был удостоен звания профессора и подготовил учеников, среди которых был Иван Егорович Старов (1745–1808), впоследствии перестроивший ряд интерьеров Зимнего дворца. Пожилого архитектора уволили со службы с пенсией 400 рублей в год. После этого он вернулся в родной Ангулем, где прожил остаток жизни в забвении и бедности.
Императрица отдыхала от государственных дел в тишине Висячего сада, находила уединение в комнатах, расположенных в центре Ламотова павильона. В одном из угловых кабинетов проходили камерные вечера со спектаклями, играми и танцами, куда приглашали только «приятных людей»: друзей, фаворитов, актеров, писателей и просто интересных собеседников.
В середине XIX века на месте комнат Екатерины был устроен парадный зал с видом на Неву, а кабинеты остались как напоминание о веселых эрмитажных собраниях, обычно завершавшихся ужинами без прислуги. Кроме прочей мебели, здесь стояли механические столы, которые сервировались в кухнях первого этажа и с помощью особого устройства поднимались наверх. Гостям предлагали забыть о делах, держаться непринужденно, подчиняясь несерьезному этикету, составленному лично императрицей. Начертанные на доске правила висели при входе, и каждый, кто не удосуживался обратить на них внимание, подвергался наказанию, например выпивал стакан холодной воды. Злостного нарушителя наказывали строже, обычно заставляя прочесть наизусть отрывок из «Тилемахиды» В. К. Тредиаковского.