Пройдя период своего наивысшего расцвета, Летний сад постепенно терял свою пышность и изменял первоначальный облик. Летняя царская резиденция Петра I существовала в саду примерно до середины XVIII столетия. Позже здание приспособили под правительственные дачи императорских сановников, пребывание коих там и последующие ремонтные работы дворца заканчивались, как правило, «отдельными исключениями» его первоначального облика.
Русский историк М.И. Пыляев в своем «Старом Петербурге» отмечает, что Летний дворец в царствование императора Александра I в летнее время служил в качестве жилища в 1815 году военному министру князю Горчакову, в следующем году в нем жил бывший министр юстиции князь Лобанов-Ростовский, в 1822 году – военный генерал, губернатор, граф Милорадович, а после него – министр финансов граф Канкрин.
В саду теперь властвовал «пейзажный стиль», значительно менявший общий вид детища Петра Великого. Деревья не подстригались, исчезали по указу новых правителей живые изгороди, некоторые породы деревьев и кустарников. Закрывались оранжереи, исчезали фонтаны. Кроны оставшихся деревьев буйно разрастались, парадные аллеи затенялись.
Огромный непоправимый ущерб Летнему саду нанесло наводнение в сентябре 1777 года. Тогда высочайший подъем воды в Неве сопровождался порывами ветра ураганной силы, разрушающего на своем пути все и вся. Любимый петровский «Огород» – Летний сад, был в одночасье уничтожен. Буря и вода полностью уничтожили уникальную систему петровских фонтанов. Значительно пострадали мраморные статуи сада. Ураган ломал деревья, сносил беседки и многие сооружения «парадиза» Петра Великого.
При ликвидации последствий этой катастрофы проводились работы по посадке молодых деревьев и кустов, расчищались аллеи сада, но при этом все разрушенные в нем архитектурные сооружения, объекты и фонтаны не восстанавливались больше никогда. Многие водоемы Летнего сада и «Поперешный» канал от Фонтанки до Лебяжьей канавки засыпали. Летний сад тогда практически утратил большинство элементов регулярного сада петровской эпохи и превращался в модный в то время пейзажный парк.
В связи с работами по возведению гранитных набережных Невы, начатыми в 1763 году, все прибрежные к реке постройки, «Галереи», дворцовые здания и так называемые «Людские покои» Летнего сада по императорскому указу тогда тоже снесли. На подсыпанном берегу Невы до наших дней сохранился лишь Летний дворец Петра I.
Грунт под существующей ныне набережной у Летнего сада подсыпной. Ширина насыпного берега составляет 50 м.
Изящная красивая решетка парка, отделившая Летний сад от проезжей части набережной Невы, возведена по проекту русского архитектора, представителя раннего классицизма XVIII века Ю.М. Фельтена и столичного зодчего П.Е. Егорова в 1784 году. Ее сооружение продолжалось четырнадцать лет и явилось значительным событием в жизни Северной столицы, ибо она оказалась в числе лучших мировых образцов архитектурного искусства.
В ее сооружении участвовали известные отечественные мастера-каменотесы, кузнецы, модельщики, позолотчики и литейщики. Ограда Летнего сада со стороны Невы составлена из тридцати шести фундаментальных гранитных колонн, увенчанных декоративными вазами и урнами, поставленных на массивный цоколь из серого финского гранита. Между колоннами закреплены ажурные железные кованые звенья решеток, сработанных тульскими кузнецами с присущими им вкусом и мастерством в 1773–1777 годах на заводе купца Денисова.
Гранитные столбы-колонны вытесаны мастерами-камнетесами из села Путилова, что находилось в предместьях Санкт-Петербурга. Близ этого населенного пригорода располагались знаменитые каменоломни, и основной промысел местных жителей издавна был связан с художественной обработкой гранита.
Следует отметить, что гранитные вазы и урны на столбах ворот и оград в первом варианте авторского проекта не предусматривались, их изготовили позже и установили на столбах только в 1784 году.