Но московский двор после смерти отца наследовал старший его брат, Петр Васильевич, камергер, женатый на дальней родственнице А.С. Пушкина, княжне М.Ф. Солнцевой-Засекиной (ее матерью была М.Ф. Пушкина). Именно она оказывается последней владелицей усадьбы из семьи Салтыковых. К этому времени окружение былого «Дегтярева огорода» становится одним из самых аристократических кварталов старой столицы. Среди соседей «камергерши» дочь фельдмаршала А.А. Хитрово, князья Несвицкие, Урусовы, Хилковы, Мельгуновы, Толстые, К.Г. Разумовский.
Со смертью пережившей мужа М.Ф. Салтыковой родовое гнездо переходит к родственнику известного историка, специалиста по Москве XVII века И.Н. Болтина – Д.С. Болтину, который деятельно принимается за его перестройку. Он повторяет в общих чертах изменения, возникавшие во всех выходивших на распланированный в 1796 году Никитский бульвар усадьбах. Поныне существующая ограда и ворота делаются со стороны бульвара. Вместо многочисленных разбросанных служб строится одно объединившее их здание напротив главного дома, главный же дом достраивается до красной черты бульвара, то есть увеличивается как раз на будущую гоголевскую половину. В этом варианте он не имел со стороны двора аркады и покоящегося на ней балкона, тогда как хозяйственный корпус сразу строится с порталом. Все работы были осуществлены в 1807–1812 годах.
Пожар 1812 года захватил весь район Никитского бульвара. Третьего сентября 1812 года он начался на Арбате и на следующий день выжег бывшие салтыковские владения. Как и во многих других городских усадьбах, восстановление оказалось не по средствам старому владельцу. Ее хозяином стал А.И. Талызин. Именно с этим именем связана наибольшая путаница в атрибуции последней гоголевской квартиры.
Члены семьи московских служилых дворян, Талызины при Петре Великом были в числе первых русских моряков, получивших специальное образование в Голландии и Италии. Но одним морским делом обстоятельства не позволили им ограничиться. С начала 1760-х годов они принимают деятельное и существенно сказавшееся на их судьбах участие в дворцовых переворотах.
Адмирал И.Л. Талызин, пользовавшийся особой благосклонностью императрицы Елизаветы Петровны, принимает сторону ненавидимой ею Екатерины II. В момент переворота Екатерина доверяет Талызину захват Кронштадта, где мог теоретически найти себе надежное убежище находившийся в Ораниенбауме Петр III со своими сторонниками. Талызин является в крепость с собственноручной запиской Екатерины: «Господин адмирал Талызин от нас уполномочен в Кронштадте, а что он прикажет, то исполнять». Появившийся здесь с некоторым опозданием Петр III был встречен им знаменитой фразой: «Поскольку у вас не хватило решительности задержать меня именем императора, я вас беру под стражу именем императрицы».
Воздвиженка, дом 5. Главное здание усадьбы Талызиных в Москве.
Вместе с дядей в перевороте участвовали три племянника адмирала – Александр, Петр и Иван. Услуга, оказанная Екатерине первым из них, выглядела, на первый взгляд, пустяковой: Александр Талызин предоставил императрице свой мундир, в котором она могла принять присягу на верность гвардейцев. Эта реликвия хранилась в выстроенном в Москве доме (ныне – Воздвиженка, 5, Государственный научно-исследовательский музей истории архитектуры имени А.В. Щусева), где А.Ф. Талызин поселился со своей женой, дочерью фельдмаршала С.С. Апраксина. Охлаждение Екатерины ко всей семье Талызиных произошло очень быстро, и в 1765 году, выйдя в отставку, адмирал, как и его племянники, поселился в Москве.
Один из трех братьев – Петр Талызин, дослужившийся до чина генерал-поручика, стал участником заговора против Павла I, но в последний момент изменил плану заговорщиков и поддержал Александра I в деле сохранения самодержавия. Его последовавшую через два месяца после убийства императора смерть современники объясняли местью былых товарищей по заговору. Существовал в разговорах и иной вариант – зазрившая совесть. Вместе с дядей в заговоре против Павла I принимал участие его племянник капитан лейб-гвардии Измайловского полка А.И. Талызин, который в 1816 году и приобрел салтыковский дом.
А.И. Талызин восстанавливает и здание служб, и главный дом, которые получают со стороны обращенных друг к другу дворовых фасадов одинаковые балконы на грузных каменных арках, что придает всей усадьбе вид единого архитектурного ансамбля.