Так случилось, что 1825 год принес в семью Лавалей одни несчастья: в апреле покончил жизнь самоубийством сын Владимир, а после декабрьских событий отправлен в ссылку зять, уехала к нему дочь. Екатерина Ивановна первой из жен декабристов последовала за мужем в Сибирь. Ее подвиг воспел Н. А. Некрасов в поэме «Русские женщины». Есть в ней и строки о знаменитом доме на набережной:
Ненадолго замерла светская жизнь особняка. А 1 мая 1828 года в доме графини Лаваль появился вернувшийся из шестилетней ссылки А. С. Пушкин. В этот вечер он читал написанную им в Михайловском трагедию «Борис Годунов». В числе слушателей были П. А. Вяземский, А. С. Грибоедов, И. А. Крылов, Адам Мицкевич, сыновья историка Карамзина — Андрей и Александр.
Еще одно памятное событие связано с этим домом: 16 февраля 1840 года на балу у Лавалей присутствовал Михаил Юрьевич Лермонтов. Здесь произошел разговор между ним и сыном французского посла Эрнестом де Барантом. Тот потребовал от поэта объяснений по поводу будто бы сказанных в беседе с «известной особой» весьма «невыгодных вещей» о нем. Последовал обмен репликами, естественно, не обошлось и без колкостей. В результате де Барант резко заявил: «Если бы я был в своем отечестве, то знал бы, как кончить это дело». Лермонтову показалось, что сказанная фраза задевает не столько его лично, сколько национальное достоинство страны, и он ответил: «В России следуют правилам чести так же строго, как и везде, и мы меньше других позволяем оскорблять себя безнаказанно». Ссору усугубило любовное соперничество: оба ухаживали за М. А. Щербатовой, отдававшей предпочтение поэту. Де Барант вызвал Лермонтова на дуэль, тот принял вызов.
Они встретились 18 февраля на Парголовской дороге за Черной речкой. Сначала дрались на шпагах. Де Барант только слегка задел противника, а у Лермонтова после первого же выпада переломился конец шпаги. Пришлось взять в руки пистолеты. Де Барант, стрелявший первым, промахнулся, а Лермонтов выстрелил в сторону.
В марте 1840 года Лермонтов был арестован и предан военному суду (законом дуэли запрещались). Узнав о показании Лермонтова на закрытом военном суде, что он умышленно стрелял в сторону, де Барант счел это оскорбительным для себя и, обвинив поэта во лжи, потребовал новой дуэли. Однако ему было предложено покинуть Петербург. Перед его отъездом на Арсенальной гауптвахте состоялось объяснение между дуэлянтами, и де Барант от дуэли отказался.
Общественное мнение Петербурга было на стороне Лермонтова, с горечью вспоминая, что и убийца Пушкина — Дантес — принадлежал к семье иностранного дипломата.
Военно-судебная коллегия установила, что поэт «вышел на дуэль не по одному личному неудовольствию, но более из желания поддержать честь русского офицера». Однако правительство воспользовалось поводом, чтобы выслать неугодного поэта на Кавказ.
Лермонтову суждено было возвратиться в Петербург только в начале 1841 года (всего лишь на два с небольшим месяца), затем он вновь был выслан на Кавказ, откуда уже не вернулся никогда.
Шло время. Иван Степанович Лаваль умер 19 апреля 1846 года, но и после его смерти особняк жил привычно. Продолжались знаменитые среды, однако собирались на них уже не для светской беседы и не ради литературных или музыкальных вечеров, а для игры в карты. Интересную зарисовку о посещении особняка на набережной оставила М. Ф. Каменская: «В мое время это был еще чисто барский дом, в котором проживала великая чудиха, безобразная старуха, вдова графиня Лаваль, та самая, про которую ходили слухи, что будто бы она вышивала знамя для декабристов, за что, говорят, ее в Третьем отделении не похвалили. Там я увидела в первый раз известного игрока того времени, одноногого генерала Сухозанета (Сухозанет Иван Онуфриевич — генерал от артиллерии, генерал-адъютант, начальник артиллерии Гвардейского корпуса, участник подавления восстания 14 декабря 1825 года), который целый вечер, не вставая, как приклеенный, просидел за карточным столом и то и дело придвигал к себе по зеленому сукну целые груды червонцев и империалов. ‹…› Государь Николай Павлович тоже не раз подходил к этому столу, внимательно следил за игрою Сухозанета, и видно было, что он им не очень-то доволен».
А. Г. Лаваль скончалась в 1850 году, а с ее смертью прекратилась и светская жизнь дома на набережной. Особняк перешел к средней дочери Лавалей — Софии, бывшей замужем за графом Александром Михайловичем Борхом, действительным тайным советником, камергером, обер-церемониймейстером.