В 1820-е годы стала всем очевидна необходимость коренной реконструкции здания. После победы над Наполеоном за Россией прочно утвердилась слава одной из сильнейших держав Европы, и высший орган государственной власти — Сенат — требовал соответствующего помещения. Число служащих этого учреждения значительно увеличилось: тесные кабинеты, коридоры, присутственные места были переполнены. В августе 1827 года император Николай I посетил Сенат и отдал распоряжение о немедленной перестройке его здания (П. Н. Столпянский считал главной причиной, побудившей Николая I потребовать перестройки здания Сената, желание уничтожить еще одного «участника» событий 14 декабря 1825 года, так как артиллерией был значительно разбит угол дома). С этой целью был создан специальный комитет под председательством министра юстиции князя Д. И. Лобанова-Ростовского.
Архитектор инженерного департамента Сената Александр Егорович Штауберт осмотрел старые корпуса и высказал соображение о возможности их использования. Он составил перечень предполагаемых работ. Но комитет сделал заключение о необходимости постройки нового здания.
В сентябре 1827 года по распоряжению Николая I комитет объявил конкурс на проект нового здания Сената. В нем приняли участие восемь архитекторов, четверым из которых приказал участвовать лично император — К. И. Росси, А. Е. Штауберту, В. И. Стасову и С. Л. Шустову. Конкурсные проекты представили также В. А. Глинка, П. Жако, А. А. Михайлов и французский архитектор, пожелавший остаться неизвестным.
Каждый из представленных проектов был тщательно изучен, работа К. И. Росси признана лучшей. Росси предполагал сохранить часть старых построек. Так, здание Шарлеманя (со стороны Галерной) зодчий сохранил полностью, лишь надстроив его. Здание Сената у Росси было самым вместительным, а расходы по переделке — значительно ниже, чем требовались для осуществления иных проектов.
В связи с тем, что Росси должен был в кратчайшие сроки завершить сооружение здания Императорской публичной библиотеки, Александринского театра и домов на Театральной площади, главным архитектором на новом строительстве комитет утвердил А. Е. Штауберта, назначив ему в помощники архитектора Сената Т. А. Угрюмова. Закладка здания состоялась 29 августа 1829 года. На работах ежедневно были заняты до 800 человек, что позволяло вести строительство быстрыми темпами.
В первой половине 1832 года здание было возведено, и сразу же началась его наружная, а затем и внутренняя отделка. Лепными работами по фасаду руководили подрядчики В. А. Зайцев и М. А. Александров; наиболее ответственные из них выполнил лепщик Ф. Торичелли. Работы по облицовке гранитом, в том числе и сооружение цоколей, взяли на себя купцы В. и Ф. Черныгины. Купец Е. Новинский занимался отделкой гранитного подъезда.
Созданный Росси ансамбль состоит из двух монументальных зданий Сената и Синода, разделенных аркой, перекинутой через Галерную улицу, и замыкает с запада площадь Декабристов.
Четырехугольный в плане Сенат выходит фасадами на Галерную улицу, площадь Декабристов и набережную. Скругленная его часть ориентирована на Неву.
Скульптурное убранство зданий Сената и Синода отображает торжество гражданских идей Российского государства. Широко использованы аллегории и символы как средство выражения общих понятий: Правосудия, Закона, Веры, Гражданственности, отвечающих назначению учреждения. Симметричное расположение скульптурного убранства и его монументально-декоративный характер соответствуют классическому архитектурному облику зданий. Рисунки для скульптур были предложены комитету Академией художеств. Ее президент А. Н. Оленин писал: «Мы общими силами отыскали приличествующие тем статуям аллегорические изображения, что по числу оных (22 статуи и 19 барельефов) нелегко было сделать».
Весь комплекс К. И. Росси прочен и величествен, и только закруг ленный угол Сената при повороте на набережную дает ощущение движения, усиливающееся течением полноводной широкой реки. Угол никак не вписывается в строгие рамки спокойного классицизма. И, как считала Н. Н. Ковалевская, этот угол «в полной мере несет на себе печать благородного стиля мастера ‹…›. Он [Росси] нарушил симметрию, округлив фасад и украсив его колоннадой: тем самым было подчеркнуто особое значение этого угла — ответственнейшего места во всей постройке, поскольку он виден и с площади и с набережной Невы». Здание создавалось в то время, когда классицизм достиг своего завершения в так называемом ампире.
Сенат стал одним из последних произведений великого русского зодчего Росси, о котором И. А. Грабарь писал: «Какой размах, какая ширь архитектурных помыслов! Этот человек рвался строить целые площади и улицы. Римляне — вот кто были его учителями, и с ними он хотел сравняться в своей архитектуре. Грандиоз и роскошь римских сооружений времен Агриппы, Адриана, Каракаллы манили его воображение. Большому кораблю — большое и плавание. Лишь большие, грандиозные задачи увлекали Росси, и чем грандиознее она, тем больше огня он вкладывает в свою композицию».