Дедушка Афанасий Николаевич, видимо, сознавая свою вину перед сыном, старался поддерживать добрые отношения с внуками. Он посылал им небольшие подарки, приглашал иногда к себе. К старшему Дмитрию, наследнику майората, было особое благоволение: дед часто писал к нему и, бывало, присылал значительные суммы «для профессоров и наук». В письмах Афанасий Николаевич слово «деньги» всегда пишет с большой буквы в знак преклонения перед главным своим кумиром.
«1 ноября 1821 года
Любезный друг Митинька!
На письмо твое скажу тебе, что я требуемые тобой книги «Сочинения Державина и Хераскова» сколько ни старался искать в библиотеке, но не нашел, да и в каталогах за рукой отца твоего их вовсе нет, а потому, буде они тебе нужны, то приценись в лавках, что то будет стоить и уведомь меня: я тотчас на покупку оных пришлю тебе Деньги…»
В Москве Наталья Ивановна старалась обустроить жизнь семьи так, как полагалось богатым помещикам. Но это было лишь внешнее впечатление: денег на такой образ жизни не хватало, видимость создавалась за счет строжайшей экономии внутренней жизни. Об обновках думать не приходилось. Младшие дети донашивали то, что становилось мало старшим. Не только выражение какого-либо желания, но необдуманная ссылка на привольную жизнь в прошлом становилась в вину. Детский каприз, шумное веселье строго преследовались. Да и не до того было при той тяжелой обстановке, в которой протекало детство Гончаровых.
Наталья Ивановна неоднократно жаловалась свекру на враждебность мужа во время запоев. «Все его расстройство происходит лишь от большого употребления вина, как он сам мне в оном признался, что выпивал до семи стаканов простого вина». «Николай Афанасьевич, кажется, стал лучше, заходит в детскую, на Ташины проказы иногда улыбается» (из писем Н. И. Гончаровой свекру 1818–19 годов). После запоев наступали сильнейшие депрессии, которые, надо полагать, и принимали за «психическую» болезнь. Бывали времена просветления, когда отношения между супругами становились нормальными, о чем также сообщала Наталья Ивановна в письмах к свекру, рассказывая, что каждый день навещает мужа во флигеле, где он живет отдельно от остального семейства.
В доме временами разыгрывались дикие сцены, подобные той, которую Наташа Гончарова запомнила на всю жизнь. Дело было так. Николай Афанасьевич временами выходил из своего флигеля к назначенному часу и обедал за столом вместе с семьей и домочадцами. Поспешно убиралась водка и вино, потому что капли алкоголя было достаточно, чтобы вызвать возбуждение. Если же ему удавалось перехватить рюмку, то трапеза неминуемо заканчивалась бурным инцидентом. По заведенному порядку никто не смел выйти из-за стола, пока мать не делала условного знака своей салфеткой. Однажды близорукая Наташа не заметила, как Наталья Ивановна взмахнула салфеткой, и все, покинув стол, устремились наверх, в мезонин, за тяжелые железные двери, а замешкавшаяся Наташа осталась с разъяренным отцом один на один. Он вдруг схватил со стола нож и бросился вслед за девочкой. Лестница наверх казалась бесконечной, отец с ножом почти настигал беглянку: достаточно одного неверного шага и… трудно предположить, чем могло кончиться это происшествие. Сверху из-за чуть приоткрытой железной двери за сценой с ужасом в глазах следили домочадцы, не в состоянии что-либо предпринять. Еще прыжок — и Наташа в безопасности, но каково было ребенку видеть отца в припадке безумия и спасаться от того, кого она не могла не любить.
После подобных сцен Наталья Ивановна решалась на крайние меры. Для ограждения детей она пыталась добиться признания мужа сумасшедшим, чтобы поместить его в лечебницу. Но каждый раз при появлении комиссии врачей он, на удивление всех домашних, проявлял такое самообладание, что в течение нескольких часов с его уст не слетало ни единого неразумного слова. Николай Афанасьевич толково отвечал на самые замысловатые вопросы и в конце концов с затаенной грустью намекал на затаенную вражду жены, которая ради корысти преследовала его. Его поведение всегда вызывало сострадание, а Наталье Ивановне решительно отказывали в ее ходатайстве. Так постепенно стало складываться предубежденное мнение современников: «суровая и властная, неуравновешенная и несдержанная» — говорили о ней. А ведь в сущности это была глубоко страдающая душа. Блестящая фрейлина императрицы, выходя замуж по любви за искреннего человека, надеялась, что всю жизнь будет с ним счастлива, но уже к тридцати годам эти надежды рухнули. Дом разорялся, сводные сестры Натальи Ивановны София и Екатерина не только не сочувствовали несчастью, но делали попытки лишить ее, как незаконную дочь Загряжского, доли наследства после смерти брата и дяди.