Однако в 1757 г., когда тяжело заболела Елизавета Петровна, канцлер совершил ошибку. Думая, что она уже не встанет, он отозвал из Пруссии ведущие там военные действия войска под командованием генерал-фельдмаршала С. Ф. Апраксина. Но императрица оправилась и весьма осерчала на Бестужева за его самовольство. Канцлера лишили всех чинов, званий и знаков отличий. Более того, его приговорили к смертной казни, но Елизавета Петровна заменила смертный приговор ссылкой в село Горетово под Можайском без конфискации имущества. Воспользовавшись этим, Бестужев-Рюмин занялся его распродажей.
Снова в Петербург Бестужев-Рюмин возвращен уже Екатериной II, взошедшей на престол в 1762 г. Ему вернули графское достоинство, чины и ордена и присвоили звание генерал-фельдмаршала. Однако дом Бестужеву не вернули. Вместо него императрица подарила ему дом скончавшегося князя А. Кантемира, выкупленный в 1762 г. в казну.
А старый дом бывшего канцлера осенью 1763 г. у него выкупили в казну за 92 107 руб. 60 коп. Архитектор А. Ф. Вист перестроил его в камне в стиле раннего барокко. После перестройки здесь расположился Сенат, который ранее находился в здании Двенадцати коллегий на Васильевском острове. С этого времени площадь перед зданием Сената официально стала именоваться Сенатской площадью.
При Екатерине II граф А. П. Бестужев-Рюмин принимал участие во всех дипломатических переговорах с европейскими государствами. В апреле 1768 г. он скончался.
В 1789–1790 гг. дом Сената снова перестроен (предположительно архитектором И. Е. Старовым) и приобрел несколько более нарядный вид. Фасад двухэтажного здания, оформленный в стиле классицизма, украсили три портика с колоннами ионического ордера. На уровне второго этажа имелся балкон. Именно на этом балконе стояла Екатерина II во время церемонии торжественного открытия памятника Петру I. В нишах с двух сторон от главного входа стояли скульптуры. Скульптурными композициями был украшен и аттик портиков, изменили и интерьеры помещений Сената. Эти работы выполнялись под руководством художника Г. И. Козлова, скульптора Ж. Д. Рашетта и архитектора Н. А. Львова.
К 1808 г. здание довольно сильно обветшало, и его стены пришлось укрепить при помощи железных связей. В большом зале, где проводились заседания Сената, установили колонны. Они играли роль подпорок грозящего рухнуть потолка. Заменили также балки и стропила. А в 1810-е гг. со стороны Галерной улицы к зданию Сената по проекту архитектора Л. И. Шарлеманя пристроили трехэтажный корпус сенатской типографии.
Рядом со зданием Сената в начале XIX в. находился довольно большой, но внешне весьма скромный дом купчихи Кусовниковой, на месте которого впоследствии возвели здание Синода.
Сенат и Синод, здания которых с 1836 г. формируют западную границу Сенатской площади, являлись государственными учреждениями, введенными Петром I. Как и коллегии (министерства) император образовал их под влиянием идей Лейбница. Этот знаменитый философ писал ему: «Опыт достаточно показал, что государство можно привести в цветущее состояние только посредством учреждения хороших коллегий, ибо как в часах одно колесо приводит в движение другое, так и в великой государственной машине одна коллегия должна приводить в движение другую, и если все устроено с точною соразмерностью и гармонией, то стрелка жизни будет показывать стране счастливые часы».
Надо сказать, что такой механистический подход был близок характеру Петра, но он не дал тех результатов, которые ожидались.