Адмирал И. Л. Талызин, пользовавшийся особой благосклонностью императрицы Елизаветы Петровны, после ее смерти принимает сторону будущей Екатерины II. В момент переворота Екатерина доверяет И. Л. Талызину захват Кронштадта, где мог найти себе надежное убежище Петр III. И. Л. Талызин является в крепость с собственноручной запиской Екатерины: «Господин адмирал Талызин от нас уполномочен в Кронштадте, а что он прикажет, то исполнять». Появившийся здесь с некоторым опозданием Петр III был встречен знаменитой талызинской фразой: «Поскольку у вас не хватило решительности задержать меня именем императора, я вас беру под стражу именем императрицы».
Вместе с дядей в перевороте участвовали три племянника адмирала. В свою очередь, один из них – Петр, дослужившийся до чина генерал-поручика, стал участником заговора против Павла I, но в последний момент изменил плану заговорщиков и поддержал Александра I в деле сохранения самодержавия. Его последовавшую через два месяца смерть современники объяснили местью былых товарищей по заговору. Вместе с дядей в заговоре принимал участие его племянник капитан лейб-гвардии Измайловского полка А. И. Талызин, который и приобрел в 1716 году салтыковский дом.
А. И. Талызин восстанавливает и здание служб, и главный дом, которые получают одинаковые балконы на грузных каменных арках, что придает усадьбе вид единого архитектурного ансамбля.
У Толстых сразу по приезде в Москву не было ни времени, ни возможности заниматься меблировкой и устройством дома. Все было сохранено с талызинских времен. Гоголю достались две комнаты нижнего этажа с самостоятельным входом из сеней. Хозяева заняли верх: графиня – часть, находившуюся над гоголевской половиной и сообщавшуюся внутренней лестницей с комнатой горничной, граф – часть, обращенную к бывшей Мамстрюковой улице, также с внутренней лестницей, которая вела к дверям нижней гостиной. Вместо общей столовой использовалась зала с выходом на балкон, где Гоголю доводилось в погожие дни читать вслух хозяйке дома.
У гоголевской половины были свои удобства. Прежде всего изолированность от всего остального дома. Но и свои достаточно существенные недостатки. Это низкие окна, выходившие на тротуар Никитского бульвара и к парадному подъезду, где прямо около них разворачивались экипажи. И главное – сырость, которая давала о себе знать во все времена года. Состояла половина из приемной с двумя большими диванами (здесь же, за одним из диванов, ночью спал «человек» Гоголя) и часто топившимся камином (печью?) и кабинета, служившего писателю и спальней. Здесь, стоя у окна, он писал на конторке и перебеливал рукописи за столом у дивана.
Первые четыре года после смерти Гоголя чета Толстых не предпринимает в доме никаких перемен, и только неожиданное возвращение графа Александра Петровича на действительную службу рождает планы обновления усадьбы. 1856 год приносит графу назначение обер-прокурором Синода.
Но проекты остаются проектами. Сначала переезд в Петербург, а затем жизнь за границей делают невозможной их реализацию. В 1873 году А. Е. Толстая возвращается в Москву, чтобы похоронить скончавшегося в Женеве мужа и немедленно расстаться с талызинским домом. Владелицей усадьбы становится вдова брата бабушки М. Ю. Лермонтова – А. А. Столыпина, бывшего предводителя дворянства Саратовской губернии. М. А. Столыпиной наследует одна из ее дочерей – двоюродная тетка Лермонтова, Н. А. Шереметева. Именно она и осуществляет в 1888 году часть задуманных Толстыми перестроек.
Надстраивается в камне гоголевская половина (до того времени второй этаж был деревянным). Перегородки в бывших комнатах писателя делаются капитальными, образуя четыре помещения для швейцара и прислуги. Сводчатые перекрытия подвала заменяются асфальтированным бетоном с выводными каналами. Но главное – переделываются на обоих этажах голландские печи с трубами, причем при верхних печах устраиваются вентиляционные камины. Иными словами, сохранившиеся до наших дней печи не имеют ничего общего с гоголевскими и не позволяют решить вопроса о камине, в котором погибла вторая часть «Мертвых душ» и многие другие рукописи. С пристройкой в 1901 году трехэтажного доходного дома по Никитскому бульвару (ныне встроен в дом Главсевморпути, 9-11) кабинет Гоголя превращается в его швейцарскую.
Никакого интереса к памяти писателя не проявляют и последние перед Октябрем владельцы талызинского дома – камергер Двора, Подольский уездный предводитель дворянства А. М. Катков и его жена, выполнявшая функции товарища председателя Комитета «Христианская помощь» Российского общества Красного Креста.
При Катковых в усадьбе располагаются принадлежавший им магазин «Русские вина», молочная лавка и частная лечебница внутренних и детских болезней С. И. Шварца.
В 1909 году, одновременно с установлением на переименованном в Гоголевский (вместо Пречистенского) бульваре памятника писателю, М. Н. Каткова возводит на месте дворовых построек еще один доходный корпус (ныне № 7).