Только в августе 1817 года А. И. Остерман-Толстой возобновил работы по реконструкции своего петербургского дома. Из воспоминаний декабриста Д. И. Завалишина мы знаем, как выглядел этот особняк: «Дом графа в Петербурге на Английской набережной был отделан тогда едва ли не великолепней всех зданий столицы. Отделка только белой залы стоила 46 тысяч рублей. Надо сказать, что Остерман в Александре I чтил не только государя, но и полководца, и эта зала, где находился бюст Александра I, походила скорее на храм, чем на комнату. Зала была двухсветная. В глухих боковых стенах с одной стороны стояла 3,3-метровая статуя Александра I работы Кановы. Перед ней — две курильницы, в четырех углах на высоких постаментах стояли бюсты Петра I (как полководца), П. А. Румянцева, А. В. Суворова, М. И. Кутузова. Стены искусственного белого мрамора с золотой арматурой, пол ясеневый. Зала освещалась большими люстрами. Имелись хоры для музыки и певчих и огромный камин. Хоры были закрыты двумя транспарантными картинами, изображавшими два решительных момента войны России с Наполеоном: Лейпцигское сражение и вступление союзников в Париж. На огромной мраморной плите у камина стояли фарфоровая ваза, подаренная Остерману Александром I, и золотой кубок, осыпанный дорогими каменьями, поднесенный победителю за Кульмское сражение богемскими и венгерскими магнатами, имения которых были, благодаря этой победе, спасены от разграбления. Мраморную плиту поддерживали две статуи с портретными лицами. Они изображали тех двух гренадеров Павловского полка, которые подобрали и унесли из боя Остермана-Толстого, когда его ранило в руку».
Трагический момент из жизни графа нашел и иное воплощение. В одной из комнат дома был установлен надгробный памятник самому хозяину работы А. Кановы. Скульптор запечатлел его лежащим, левая рука покоится на барабане, который стал в свое время операционным столом, а в корпус барабана вставлены часы, показывающие время ранения. На них надпись по-латыни: «Видит час, но не знает час того часа, в который человека постигнет известная участь».
В другой комнате находилось скульптурное изображение супруги графа, Елизаветы Алексеевны (урожденной Голицыной), работы того же Кановы.
Каждая из комнат особняка была чем-нибудь да примечательна. Так, всеобщее внимание привлекала гостиная, стены которой были выложены распиленными бревнами, придававшими ей вид русской избы. Причем стены дома имели такую толщину, что в них свободно размещались диваны.
Надо отметить, что граф Александр Иванович был известным шутником и охотником до всяких розыгрышей и мистификаций. В столовой на специальных подставках сидели у него живые орлы, а во время обедов за спинами гостей нередко стояли выдрессированные медведи с алебардами. Очевидцы рассказывали, что однажды А. И. Остерман-Толстой, разгневавшись на чиновников и дворянство одной из губерний, приказал нарядить медведей в мундиры, которые принято было носить в той самой губернии…
Удивляли в доме даже окна — цельные, из богемского стекла. Каждое стекло стоило 700 рублей. Зеркальные эти окна отражали свет и придавали особняку загадочный вид.
Вот какую зарисовку знаменитого дома оставил А. С. Пушкин в романе «Евгений Онегин»:
На пышных приемах у Остермана собирался весь светский Петербург. Частыми гостями бывали здесь писатели, художники, артисты.
Есть еще один любопытный эпизод, связанный с данным домом. В те годы жил во дворовом флигеле адъютант А. И. Остермана-Толстого (шефа лейб-гвардии Павловского полка), будущий известный писатель Иван Иванович Лажечников. Он вспоминал позднее:
— Квартира моя в доме графа Остермана-Толстого выходила на Галерную. Я занимал в нижнем этаже две комнаты, но первую от входа уступил приехавшему за несколько дней до того времени, которое описываю, майору (Денисевичу), служившему в штабе одной из дивизий корпуса, которым командовал граф.
В одно прекрасное (помнится, зимнее) утро — было ровно три четверти восьмого, — только что успев окончить свой военный туалет, я вошел в соседнюю комнату, где обитал мой майор, чтоб приказать подавать чай. Денисевича не было в это время дома; он уходил смотреть, все ли исправно на графской конюшне. Только что я ступил в комнату, из передней вошли в нее три незнакомых лица. Один был очень молодой человек, худенький, небольшого роста, курчавый, с арабским профилем, во фраке. За ним выступали два молодца-красавца, кавалерийские гвардейские офицеры, погромыхивая своими шпорами и саблями.