В саду посадили фруктовые деревья – яблони, груши, сливы и ягодные кусты. Южнее «Золотых хором» вырыли пять прямоугольных прудов «для содержания живой рыбы, привозимой к царскому столу». Восточнее «хором» разместились «фряжские итальянские погреба», где хранили вина и другие припасы для царского стола. Южнее «фряжских погребов» протянулись овощные огороды. Здесь находился участок, отведенный под «поварские и аптекарские травы». На территории, где ныне располагаются здание Русского музея и площадь Искусств, были конюшни, сараи для фуража, а также домики служащих конюшенного ведомства, садовников и их учеников. На территории, ныне занимаемой Этнографическим музеем, построили грунтовые сараи и теплицы, в которых садовник Эклибен выращивал «шпанские» вишни, абрикосы, персики, бананы и ананасы. К хозяйственным постройкам от дворца вели аллеи в виде зеленых коридоров. Наплавной мост через Мойку соединил 3-й Летний сад с остальными.
Для ухода за садом государь пригласил в 1718 г. ганноверского садовника Гаспара Фохта. Чтобы заполучить его, Петру пришлось привезти в Петербург всю семью Фохта. Ганноверский садовник привез с собой барбарисовые семена, кусты роз из Данцига, заказал кедры из Соликамска, яблони из Швеции, грабы из Киева. Садовые дорожки Фохт обсадил сибирским гороховником, таволгой и зеленицей.
В царствование императрицы Анны Иоанновны овощной огород перевели на другой берег Фонтанки в Итальянский сад, а на его месте устроили «Ягд-гартен» – сад для загона и отстрела диких животных. В 1737 г. Анна Иоанновна повелела устроить на месте нынешней Манежной площади Слоновый двор для размещения там слона, подаренного ей персидским шахом. Видимо, слонов у шаха было много, потому что в 1741 г. он подарил государыне четырнадцать. Государыня их так и не дождалась, так как скончалась еще в октябре 1740 г. Правительница Анна Леопольдовна долго думала, куда бы пристроить этот подарок. На территории нынешнего Зимнего стадиона пришлось строить огромный амбар для содержания этих экзотических животных. На Фонтанке устроили специальный настил для купания слонов, а место рядом со слоновым амбаром, где они прогуливались, стали называть Слоновой площадью.
На территории, где размещались «фряжские итальянские погреба», 24 июня 1741 г. архитектор В. В. Растрелли начал строительство деревянного Летнего дворца для Анны Леопольдовны. Пожить в нем правительнице так и не удалось, ибо через полгода ее арестовали и вместе с семейством отправили в ссылку. В 1745 г. во вновь построенный Летний дворец въехала новая хозяйка России, императрица Елизавета Петровна.
Параллельно со строительством дворца Растрелли занялся перепланировкой сада. В результате сад получил регулярную планировку с крестообразными аллеями, обрамленными фигурно стриженными деревьями, фигурными прудами, клумбами, цветниками, павильонами. Северо-восточная часть сада, где находился дворец, стала парадной. От Невской першпективы (Невского проспекта) к дворцу провели аллею каштановых деревьев, которая упиралась в ворота с кованой решеткой и золоченым орнаментом. За оградой усроили площадь, окаймленную дворцовыми корпусами, среди которых большой партер с трельяжной беседкой и фигурным бассейном с фонтаном. Его украшали позолоченные барельефы, вазы, мраморные скульптуры.
На берегу Мойки построили императорскую баню. В центре сада установили качели, карусели, горки для зимнего и летнего катания. В южной части сада находились оранжереи и боскеты с плодовыми кустами крыжовника, смородины и вишни. На территории нынешней площади Искусств вырыли большой прямоугольный пруд. На территории Слонового двора устроили «Лабиринт» – систему запутанных дорожек, окруженных высокими боскетами.
В 1797 г. Летний дворец Елизаветы Петровны сломали и начали строительство Михайловского замка, которое закончилосьв 1800 г. Замок с юга и запада окружили рвами с водой. Со стороны южного, Воскресенского фасада устроили площадь Коннетабль, в центре которой установили памятник Петру Великому работы Растрелли. На площади проводили плац-парады и разводы караулов. В ансамбль замка вошли Манеж, Конюшенный корпус и два павильона, построенных на территории «Лабиринта». С южной стороны территорию замка обнесли каменной оградой с тройными полукруглыми воротами. Третий Летний сад станет частью резиденции императора Павла Петровича, который каждое утро прогуливался здесь верхом.