Лермонтов приехал в Петербург из кавказской ссылки 6 февраля 1841 года, а бал, куда он был приглашен, состоялся 9 февраля. Соскучившийся на Кавказе по светским беседам, поэт не мог отказать себе в удовольствии увидеть петербургское общество, друзей, полюбоваться очаровательной хозяйкой дома, которой он незадолго до этого посвятил такие строки:
К несчастью Лермонтова, на балу присутствовали члены императорской семьи, посчитавшие «неприличным и дерзким» появление в их кругу опального поэта. Лермонтова поспешили отправить обратно на Кавказ. Правда, ему на какое-то время все же удалось задержаться в Петербурге, и произошло это только благодаря усилиям А. К. Воронцовой-Дашковой, хлопотавшей перед самим императором.
С именем графини связано еще одно событие, взбудоражившее литературный Петербург. Речь идет о несостоявшейся дуэли Н. А. Некрасова…
После смерти Воронцова-Дашкова в 1854 году Александра Кирилловна стала женой француза, барона де Пуальи, уехала с ним в Париж, а через два года неожиданно умерла. Ее кончина вызвала немало толков в России. Ходили даже слухи, будто бы муж тиранил ее и в конце концов отравил медленно действующим ядом.
Поэтическую версию судьбы русской аристократки, угасшей на чужбине в нищете и безвестности, представил Н. А. Некрасов в стихотворении «Княгиня».
В действительности все обстояло иначе. Второй муж А. К. Воронцовой-Дашковой вовсе не был извергом, и умирала она совсем не в больнице, а среди роскоши в собственном доме. Дочь графини, жена Ф. И. Паскевича-Эриванского, жила тогда в Париже и присутствовала при кончине матери. Таким образом, судьба Воронцовой-Дашковой никак не совпадала с судьбой «Княгини» у Некрасова.
Однако барон де Пуальи, не то прочитав перевод некрасовского стихотворения в путевых заметках А. Дюма, не то узнав о нем от самого писателя, с которым был лично знаком, счел себя глубоко оскорбленным. Он приехал со своими секундантами в Петербург, чтобы вызвать Некрасова на дуэль. Поэт вызов принял и даже, по свидетельству А. Я. Панаевой, ездил в тир — поупражняться в стрельбе из пистолета.
Друзья были встревожены не на шутку. Никто не хотел допустить того, чтобы еще один русский поэт был убит на дуэли французом. Наконец им удалось убедить де Пуальи отказаться от вызова.
Надо отметить, что отдельные черты А. К. Воронцовой-Дашковой легли в основу образа княгини Р. в романе И. С. Тургенева «Отцы и дети».
Но вернемся к судьбе дома. В 1858–1864 годах в нем была реконструирована парадная лестница, и к западному дворовому флигелю пристроено новое полуциркульное помещение для алтаря домовой церкви. Работы велись под руководством архитектора Людвига Петровича Феррацини. Участие в них принимала фирма братьев Ботта, известная своими работами в крупнейших дворцовых сооружениях. Тогда же подвергся переделкам самый большой зал в особняке — Белый, где лепку осуществил итальянский скульптор А. Молирани. Плафон расписывал А. Висконти, а Ф. Денисов выполнил резьбу по дереву.
В ноябре 1868 года произошел пожар и выгорела половина главного трехэтажного дома. Пострадали многие помещения, среди которых оказался и Белый зал. Восстановлением утраченных после пожара интерьеров занимался архитектор Людвиг Фонтана.
Сегодня, как и в XVIII–XIX веках, главный фасад здания имеет центральный подъезд, завершающийся большим балконом. Подъезд декорирован колоннами и пилястрами ионического ордера и хорошо гармонирует с общим обликом всего дома, построенного в стиле раннего классицизма.
При входе в дом открывается большой вестибюль, откуда видна беломраморная лестница. Вестибюль сохранил композицию и отделку XVIII века: два ряда дорических колонн делят его на три части. Прямоугольные лепные сандрики над дверьми со сценками на сюжеты античной мифологии, ниши, завершенные раковинами, в которых ранее находилась скульптура, да и общий серовато-бежевый тон вестибюля придают ему определенную изысканность. Установленные при входе на лестницу два бронзовых торшера с гербами бывших владельцев прекрасно дополняют убранство этого помещения. Лестничный интерьер хорошо освещен. Напротив трех больших окон на верхней площадке расположены такого же размера зеркальные двери. Это противостояние окон и зеркал еще более усиливает освещенность помещения, особенно в солнечный день.