Еще в 1719 году Петр I разбил на этом месте большой фруктовый сад, который получил название «Третьего Летнего». Он тянулся от Фонтанки до речки Кривуши. К югу от сада вплоть до Невской першпективы пролегла полоса болот и чахлого леска. В 1741 году Ф. Б. Растрелли на восточной окраине сада возвел Летний дом императрицы Елизаветы Петровны. А дома и дворцы, поднявшиеся вдоль Невского, отодвинули сад к северу примерно на линию теперешней Инженерной улицы. Потом на месте Летнего дома вырос суровый Михайловский замок императора Павла, так и не сумевший уберечь жизнь своего хозяина. И в конце концов пришли в запустение сады и хозяйственные строения. В центре столицы появился пустырь, зараставший репейником и крапивой. Пустырь портил настроение Александру. Он выпадал из его системы порядка и понимания красоты. Посему пустырь следовало уничтожить. Когда решено было возвести на этом месте внушительный дворец, государь вздохнул с облегчением. Теперь дело оставалось за Росси. Ему предстояло угодить одновременно и старшему, и младшему брату. И это, пожалуй, было самое трудное.
Самый первый набросок будущего дворца слишком прост и даже чуть старомоден. Он стоит на месте теперешнего сквера площади Искусств. Два закругленных крыла образуют перед ним просторную циркумференцию — парадный двор. Дворец напоминает традиционную усадьбу, какие строили еще в предыдущем столетии. Лишь улица, специально проложенная перпендикулярно Невскому, открывает вид на него.
За этим проектом следуют второй, третий. Но ни один из них не радует зодчего. Видно, трудно разорвать привычные путы, обретенные за долгие годы переделок и перестроек. Трудно вдруг, сразу почувствовать себя свободным человеком, способным мыслить и творить легко и раскованно, не сдерживая полет фантазии заранее определенными рамками. Летят в камин скомканные листы ватмана. Корчатся в жарком пламени и застывают белым пеплом в причудливых изгибах и надломах.
Все же талант, темперамент, желание исполнить заветную мечту оказываются сильнее нажитых привычек. Растет на столе стопа совсем новых планов и чертежей: дворец с флигелями, сад с павильоном на берегу Мойки, площадь перед дворцом, новые улицы, одна из которых продолжит старую Садовую, а другая протянется перед фасадом дворца, и еще одна, которая откроет вид на все строение со стороны Невского. Все вместе — огромный и прекрасный ансамбль, подобного которому еще не знал Петербург.
Наконец 17 апреля 1819 года следует повеление о создании «Комиссии для построения дворца великому князю Михаилу Павловичу», и он, Росси, член этой Комиссии. Значит, пришелся по вкусу заказчикам этот его проект.
Верные помощники архитектора принялись набирать рабочую силу. Ежегодно в апреле — мае из российских губерний приходили в столицу десятки и десятки тысяч мужиков. Гнала их жестокая надобность внести оброк помещику. Изнуренные дальним и трудным путем, они являлись нередко уже в болезненном виде и, что еще хуже, — без твердой уверенности найти себе сразу заработок и желанный кусок хлеба. Сначала следовало явиться на Театральную площадь в Контору адресов, чтобы получить вид на временное проживание в столице — билет. Только после этого можно было отправляться на «биржу». Их существовало несколько: плотники и каменщики толпились на Сенной площади, землекопы и разнорабочие — у Синего моста на Мойке и на углу проспектов Невского и Владимирского. Нанимали не всякого, а с разбором, с расспросом, откуда родом: издавна считали, что лучшие каменотесы — из Олонецкой губернии, каменщики — из Ярославля, плотники — из губернии Владимирской.
Пока подрядчики отбирают лучших землекопов, каменщиков и плотников, Карл Иванович делит свое время между Елагиным дворцом и Марсовым полем. Еще в прошлом, 1818 году замыслил он связать воедино Третий Летний сад с просторной площадью и полноводной Невой. В случае успеха с реки откроется прекрасный вид на стоящий вдали дворец. План необычный и очень интересный. Простор площади с востока ограничивает зеленая стена Первого Летнего сада, с запада — казармы лейб-гвардии Павловского полка, строение которых завершает В. Стасов, с севера — служебный корпус Мраморного дворца, дом графов Салтыковых и между ними обелиск в честь побед генерал-фельдмаршала П. Румянцева. С юга на берегу Мойки — памятник Суворову.
Для начала следовало образовать пространство между Невой, служебным корпусом Мраморного дворца и домом Салтыковых — небольшую почти квадратную площадь. Румянцевский обелиск, стоявший здесь, Росси переносит на Васильевский остров, а на его месте ставит памятник генералиссимусу Суворову. В глухой стене дома Салтыковых, глядящей на площадь, пробивает окна, а вдоль тротуаров устанавливает оригинальные светильники в виде пик с бронзовыми наконечниками. Теперь небольшая аванплощадь может служить парадным входом на огромный Царицын луг, как еще продолжали именовать Марсово поле.