Замечательным памятником архитектуры, творением рук Растрелли является Зимний дворец. У дворца были предшественники: два деревянных и четыре каменных. Совершенно точно известно, что пятый Зимний дворец Растрелли строил вместе со своим отцом.
16 февраля 1753 года Елизавета Петровна издает указ о строительстве нового Зимнего дворца. Однако прошло больше года, прежде чем был окончательно утвержден четвертый по счету проект Зимнего дворца. Растрелли пришлось приложить немало сил, потратить время и нервы, чтобы убедить царицу строить не просто дворец, а создавать ансамбль, в котором дворец хоть и главная, но все же часть этого ансамбля. По замыслу Растрелли, Зимний строится на Дворцовом лугу. Площадь перед дворцом окружит галерея с широким разрывом напротив него.
В июле 1754 года Елизавета Петровна издает именной указ о начале строительства, при этом императрица рассчитывает на срок в два года. Сам же обер-архитектор с учетом всех факторов реально оценивает строительство в пять лет. Так оно в действительности и получилось. Осенью 1759 года здание дворца только подвели под крышу. Началась внешняя отделка. Эскизы простых украшений готовили помощники обер-архитектора, а более сложные – сам Растрелли.
К этому времени Растрелли одолевают болезни. Годы брали свое. В конце 1760 года обер-архитектора постигают и неудачи. Начатое по его проекту в 1758 году строительство Гостиного двора вдруг было остановлено. Формально это объяснялось нехваткой рабочих рук. Ведь одновременно шло строительство и Зимнего дворца, и Смольного монастыря. Истинная же причина заключалась в неприятии купцами проекта Растрелли. Им нужно было не пристанище для мудрецов и философов, как это получалось по Растрелли, а удобное, практичное место для торговли. Вскоре, 25 мая 1761 года, Шувалов добился подписания указа о строительстве Гостиного двора по проекту Валлен-Деламота.
Для Растрелли это был тяжелый удар. Впервые за многие годы так откровенно пренебрегли его искусством. Прозвучал первый, но достаточно грозный сигнал будущей отставки обер-архитектора. Растрелли не заметил, как общественное мнение и вкусы при дворе стали формировать новые люди, которые были невысокого мнения о стиле барокко.
25 декабря 1761 года Елизавета Петровна скончалась, так и не переехав в Зимний дворец. Новый император Петр III приказал по-военному быстро отделать дворец к 6 апреля 1762 года. Удивительно, но за такой небольшой промежуток времени удалось отделать около ста комнат, театр, церковь и галерею.
Ни один европейский дворец того времени не может равняться с Зимним по внушительности и грандиозности. Дворец – вершина русского барокко середины XVIII века, его завершение и начало конца. Именно в Зимнем Растрелли довел до совершенства те композиционные и архитектонические приемы, которыми пользовался все предыдущие годы. Применение многочисленных колонн, мощных фронтонов, усложненных наличников – все способствует созданию трехмерного пространства и насыщает фасад такой динамической силой, что дальнейшее ее нагнетание грозит переходом в статичность. Вместе с тем Зимний дворец геометрически четок в своем плане. А все его четыре фасада, наружных и дворовых, решены в едином архитектоническом ключе. И в этом сочетании заданной строгости и нагнетенной до предела динамики ощущается некая противоречивость, скрытая и, может, до конца не осознанная борьба нового художественного мировоззрения с барочными традициями, преодолеть которые обер-архитектор не мог.
Как это ни парадоксально, но именно Петр III оказался единственным из всех государей и императриц, при которых творил Растрелли, кто удостоил наградой архитектора за его труды. Он пожаловал Растрелли званием генерал-майора и орденом Св. Анны. Это была последняя благосклонность фортуны к итальянцу.
28 июня 1762 года к власти пришла Екатерина II. С этого времени над головой Растрелли начали сгущаться тучи. Ему перестали давать заказы, считая, что его стиль барокко стал немодным. Обер-архитектор просит дать ему отпуск, и 10 августа 1762 года Екатерина II подписывает соответствующий указ. Растрелли с семьей отправляется к себе на родину, в Италию. Через год он возвращается с тайной надеждой, что опять вернется к работе. Но за время его отсутствия ситуация ухудшилась. Растрелли узнает, в частности, о том, что архитектор Валлен-Деламот переделывает внутренние покои Зимнего. Он подает прошение об отставке. 23 октября 1763 года Екатерина II принимает решение об отставке обер-архитектора Франческо Бартоломео де Растрелли с назначением ему пенсиона – тысяча рублей в год.