Дворец на берегу Невы Екатерина II подарила своему фавориту князю Г. А. Потемкину. После успешного окончания войны с Турцией, завершившейся присоединением к России Крыма, который тогда назывался Тавридой, Потемкин получил почетный титул светлейшего князя Таврического. С 1791 года дворец и сад при нем стали называться Таврическими.
После смерти Потемкина дворец перешел в казну. В царствование Павла I вдохновенное творение Старова едва не подверглось полному разрушению. Согласно приказу нового императора всю обстановку и отделку парадных помещений вывезли из дворца, а сам он был отдан под казармы Конногвардейского полка. В колонном зале разместилась полковая конюшня, в круглом зале был устроен манеж.
В 1802–1804 годах под руководством архитектора Л. И. Руска дворец был восстановлен, а интерьеры значительно переделаны. В начале XX века во дворце помещалась Государственная дума, в связи с чем здание вновь подверглось перестройкам. Театр был превращен в библиотеку, на месте зимнего сада появился зал заседаний. Оказался искажен и первоначальный облик воспетого Державиным колонного зала — он лишился изумительных сквозных перспектив, так как открытая колоннада между ним и зимним садом была заложена. Неизменным остался лишь внешний вид дворца.
В поэме «Медный всадник» А. С. Пушкин описал наводнение, произошедшее 7 ноября 1824 года. Площадь, о которой он говорит, на самом деле называлась Петровской. Так официально приказано было именовать Сенатскую площадь после того, как на ней установили памятник Петру I. Но название это не привилось. Площадь в ту пору была больше, поскольку не было Адмиралтейского сада.
Дом, который «в углу вознесся», сохранился поныне — это дом князя А. Я. Лобанова-Ростовского. Он построен в 1817–1820 годах по проекту архитектора О. Монферрана и играет важную роль в ансамбле центральных площадей города. Его главный фасад, обращенный к Адмиралтейскому проспекту, украшен восьмиколонным портиком коринфского ордера. Портик возвышается над выступающей вперед аркадой. Пандусы (отлогие подъемы) давали возможность каретам подъезжать непосредственно к парадному входу. Львы, стоящие по сторонам подъезда, высечены из белого каррарского мрамора известным в ту пору скульптором П. Трискорни. К этому подъезду и привел Пушкин героя своего «Медного всадника»:
Хозяин дома со львами, известный библиофил и коллекционер А. Я. Лобанов-Ростовский, прожив в нем несколько лет, решил разыграть его в лотерею. Для этой цели был выпущен миллион лотерейных рублевых билетов; на один из них должен был пасть выигрыш — дом князя. Но Николай I запретил эту коммерческую аферу и предложил князю продать в казну дом и уникальную библиотеку, за которую Лобанову-Ростов-скому была назначена пожизненная пенсия. Вплоть до 1917 года в доме со львами размещалось Военное министерство России. После Октября он взят под охрану государства.
«Высокий дом», о котором говорит поэт, — дом № 4 по Английской набережной. Он вошел в историю как дом графини Лаваль.