Во время царствования Павла I валы вокруг Адмиралтейства сделали более высокими, а ров прочистили и углубили. По гребню валов устроили палисад, а на угловых бастионах были поставлены новые срубы и флагштоки для подъема флагов. Руководил этими работами военный инженер И. К. Герард. Впрочем, эти валы и рвы просуществовали недолго, о чем мы еще расскажем. Во дворе Адмиралтейства построили здания новых мастерских.
Часть помещений передали учрежденному в 1798 г. Училищу корабельной архитектуры. Его задачей являлась подготовка специалистов-кораблестроителей для нужд Балтийского и Черноморского флотов. Первый выпуск Училища составил 7 корабельных инженеров. Спустя сто лет, в 1898 г., его переименовали в Морское инженерное училище императора Николая I. А в 1927 г. оно стало называться Высшим военно-морским инженерным училищем имени Ф. Э. Дзержинского (с 1998 г. — инженерный институт).
С 1800 г. строительство судов из Адмиралтейства постепенно стало переводиться на верфи Нового адмиралтейства. Оно было выстроено ниже по течению Невы, на месте бывшего Галерного двора. Ныне это широко известный Адмиралтейский кораблестроительный завод. И хотя в 1800 г. на Адмиралтейских верфях установили паровую машину, это уже не могло остановить начавшийся упадок. Земляные валы потихоньку оплывали, а рвы захламлялись различным мусором. В бумагах поэта К. Н. Батюшкова сохранилась следующая запись: «Помню эту безобразную длинную фабрику, окруженную подъемными мостами, рвами, глубокими, но нечистыми, заваленными досками и бревнами…».
К началу XIX в. облик центральной части города кардинально изменился. Она приобрела торжественно-монументальный характер. Рядом с Адмиралтейством уже стоял величественный 5-й Зимний дворец, построенный Ф.-Б. Растрелли. На Сенатской площади воздвигли памятник Петру I — «Медный всадник». Строилось новое здание Биржи на Стрелке Васильевского острова. Вид центральной улицы города приобрел Невский проспект. Все это потребовало очередной перестройки довольно скромного здания второго Адмиралтейства, с созданием на этом месте приличествующего центру столицы ансамбля. В 1805 г. разработать проект перестройки здания Адмиралтейства поручили архитектору А. Д. Захарову.
Захаров родился в 1761 г., в семье служащего Адмиралтейств-коллегии, и в возрасте 6 лет отдан отцом в художественное училище при Академии художеств, где он проучился до 1782 г., после чего направлен пенсионером в Париж. Во Франции он еще 4 года учился у Ж. Ф. Шальгрена, придворного архитектора Наполеона I. На родину Захаров вернулся в 1786 г. и стал работать преподавателем в Академии художеств.
В 1799 г. Павел I назначил его главным архитектором Гатчины, где Захаров завершил строительство лютеранской церкви Святого Петра, построил Львиный и Горбатый мосты, здания Птичника и Фермы. В период 1803–1804 гг. архитектор разработал так и не осуществленный проект перестройки Васильевского острова и позднее реализованный план Нижегородской ярмарки. В своем проекте перестройки Васильевского острова Захаров, кстати, предлагал с восточной стороны Кунсткамеры построить еще одно здание, аналогичное кваренговской Академии наук. Он считал, что здание Академии слишком мало для парадной набережной столичного Петербурга.
В 1805 г. А. Д. Захарова назначили вместо Ч. Камерона главным архитектором Морского ведомства. В этой должности он осуществил перестройку Морских провиантских магазинов на Провиантском острове, разработал проект застройки Галерного порта, занимался перестройкой Морского госпиталя на Выборгской стороне, выполнял ремонтные работы в Новой Голландии и в Никольском Морском соборе, в Адмиралтейской типографии на Васильевском острове и в Инвалидном доме на Каменном острове, разработал проект Андреевского собора в Кронштадте. Но важнейшей работой А. Д. Захарова в должности главного архитектора Морского ведомства явилась, безусловно, перестройка здания Адмиралтейства. Он приступил к ней сразу же после вступления в должность, но завершить эту работу лично не успел. Летом 1811 г. архитектор заболел и в сентябре, в возрасте 50 лет, умер.
Поручая Захарову подготовить проект перестройки здания Адмиралтейства, первоначально предусматривали только изменение его внешнего вида. В мае 1806 г. такой проект, рассчитанный на три года работ, был представлен. Одновременно архитектор предложил и другой проект, согласно которому предлагалось выполнить коренную реконструкцию здания.