Ведать всеми военными поселениями доверено графу Аракчееву, этому «злодею», «проклятому змею», «вреднейшему человеку в России», как называет его ближайшее окружение Александра. Все внутренние дела государства забрал он в свои большие бледные руки. Карамзин писал доживавшему свои дни Новикóву: «…в Петербурге одного человека называют вельможею: грава Аракчеева». Сам историограф тщетно два месяца ожидал свидания с государем, пока не нанес визит графу. После чего тут же был принят государем и обласкан. А поручик Григорий Карелин, осмелившийся в разговоре изменить в девизе Аракчеева одну букву — «Бес лести предан», незамедлительно был сослан в Оренбург.
К счастью для Карла Росси, граф Аракчеев не вмешивался в его дела. Все желания императора передает ему начальник Главного штаба, герой сражения при Аустерлице генерал П. Волконский. Правда, в 1823 году, не выдержав интриг, Росси подаст в отставку, и ее охотно примут. Но это в будущем, а пока зодчий огорожен от всяких происков завистников и разных неприятностей.
Росси придирчиво набирает команду, с которой предстоит работать. Конечно, верный Н. Ткачев, выдающиеся скульпторы С. Пименов и В. Демут-Малиновский, помощники архитектора А. Комаров и М. Войлоков, мраморщики П. Модерна и П. Трискорни, живописцы А. Виги, Б. Медичи и Д. Скотти, мастер искусственного мрамора Я. Щенников, паркетчик С. Тарасов, резчики Н. Опарин и С. Никитин, обойщик И. Тимофеев, позументщик В. Гущин, столяры из семьи Тарасовых и другие мастера. Потом все они перейдут вслед за Росси на другую стройку, на третью и будут всегда сопровождать его. Это первый в России случай, когда единожды собранная зодчим команда станет постоянной. Такое возможно только при взаимном доверии, понимании и уважении друг друга. Вот почему мастеровые любовно называют главного архитектора на российский манер — Карл Иванович. А для ходчего человеческое общение с помощниками и подмастерьями — глоток свежего воздуха в тяжкой петербургской атмосфере. Слухи о необычности человеческих отношений в команде придворного зодчего столь широко разнеслись по стране, что даже главный архитектор Херсона, занимавший у себя в городе прочное положение, подал прошение зачислить его хотя бы помощником смотрителя на стройки, которые ведет Росси.
Работа началась по методе, испробованной еще в Твери: сначала архитектор готовит все чертежи и рисунки, и только после этого приступают к делу. Никакие чиновники не в состоянии нарушить план работ или потребовать изменений. Росси твердо стоит на своем. Только заказчику дозволено вносить поправки. Но император теперь не задерживается в Петербурге. Он мечется по родной стране и чужеземным государствам, точно гонят его муки совести и страшные видения мартовской ночи 1801 года. А вдовствующая императрица, доверяя вкусу зодчего, надолго отъехала в Москву, чтобы оттуда отправиться с визитом на родину, в Германию.
Всю работу на острове Карл Иванович разделил на три очереди. Сначала постройка дворца и отделка его интерьеров, потом возведение служебных зданий и только после этого разбивка парка и сооружение садовых павильонов.
От бывшего дома Елагина оставили прочные наружные стены, а внутри всё начали делать заново. Пять сезонов длился напряженный труд. Наконец в 1822 году работы во дворце пришли к завершению.
На восточной стороне острова, там, где от Большой Невки отделяется Средняя, поднялось жемчужно-серое строение с белоснежными колоннами. Плавно круглящаяся линия плоского купола, полукруглая ротонда перед входом и полукруглая лестница, украшенная большими вазами каррарского мрамора и ажурными корзинами-цветочницами, как бы вторят мерному бегу речных волн. Чтобы подчеркнуть ритм движения, Росси выделил углы здания чуть выступающими ризалитами с малыми фронтонами и двумя парами коринфских колонн.
Дворец стоит на широкой каменной террасе, обнесенной ажурной решеткой. Окружающие виды отражаются в зеркальных стеклах окон первого этажа и рождают новые красочные картины. Природа как бы сама входит в парадные покои дворца, чтобы еще больше украсить его.
Главный вход — с западного фасада. Он строже восточного. Полуротонда уступила место портику с шестью колоннами. И только широкая лестница и закругленные пандусы связывают дворец с раскинувшимся перед ним лугом.
Эту игру контрастов двух фасадов зодчий продолжил в убранстве внутренних покоев. Большие залы чередуются с малыми комнатами, строгая белизна стен одних помещений сменяется яркой, насыщенной отделкой других. Самый большой зал — Танцевальный, или Овальный, — облицован белым искусственным мрамором. Шестнадцать полуколонн опоясывают его. А между ними — огромные зеркала. Они раздвигают пространство и создают затейливую игру бликов. Но пройти в этот зал из просторного вестибюля нельзя. Надо сначала миновать узкую полутемную галерею, и тогда возникает эффект неожиданности, рождающий вздох изумления.