Около двух лет прожила Наталья Николаевна в Полотняном Заводе. Некогда роскошное гончаровское поместье в начале XIX века уже начало приходить в упадок. На заводах и фабриках лежали огромные долги, оставленные в наследство потомкам расточительным дедом Афанасием Николаевичем. Дмитрий Николаевич, человек совершенно некоммерческого склада, стоявший теперь во главе майората, тщетно старался привести в порядок предприятия; ему удавалось только выплачивать огромные проценты по долговым обязательствам и с трудом содержать большую гончаровскую семью – братьев и сестер. В 1836 году он женился, и это еще больше осложнило их финансовое положение. В доме, очевидно, царила строгая экономия: в конторских книгах скрупулезно записывались все расходы; так, например, мы узнаем, что по субботам хозяину и его супруге «выдавалось» по полфунта мыла на баню!
Наталья Николаевна с семьей поселилась не в большом доме, где жил Дмитрий Николаевич с женой, а в так называемом Красном доме. Вспомним, что Наталья Николаевна уже жила в этом доме в 1834 году все лето со своими детьми, а затем и с Пушкиным, приезжавшим тогда навестить семью и прожившим в Заводе около двух недель. После этого, по преданию, долгое время дом этот назывался «пушкинским». Красный дом был расположен в очень красивом саду, с декоративными деревьями, кустарниками, пышными цветниками, беседками. Фасадом он выходил к прудам, к ним была выложена из камня пологая лестница. По берегам прудов были посажены ели, подстригавшиеся причудливыми фигурами, недаром старожилы описывали этот уголок парка как какой-то земной рай. В Красном саду были расположены и большие оранжереи, оставшиеся от времен деда, в которых росли редкие фруктовые деревья, такие, как лимонные, померанцевые, апельсиновые и абрикосовые, был также и большой «плодовитый сад».
Красный дом был деревянным, двухэтажным, в нем было 14 комнат; по тем временам он был со всеми удобствами, даже с ванными! Там семье Пушкина было хорошо, вдали от шумного большого дома и ткацких фабрик. Наталье Николаевне, видимо, хотелось уединиться со своим горем, быть со своими детьми. С ней, конечно, поселилась и Александра Николаевна, чья нежная и преданная дружба скрашивала ей жизнь. Приходо-расходные книги Полотняного Завода свидетельствуют, что Наталья Николаевна вела хозяйство отдельно; ей закупались продукты в Калуге, на ее счет записывались и другие расходы. Получаемой ею пенсии на деревенскую жизнь хватало.
Очень тепло относились к ней родные. Дмитрий Николаевич постоянно заботился о сестре и ее детях во время их пребывания в Заводе. «Береги сестру, дорогой брат, – Бог тебя вознаградит», – писал Иван Николаевич Дмитрию, посылая ей посылку ко дню рождения. Когда Наталья Николаевна приехала с детьми в Завод, Иван Николаевич, как мы уже упоминали, был послан семьей за матерью в Ярополец. Наталья Ивановна тотчас же приехала и прожила с дочерью более двух месяцев. Александра Петровна Ланская, по мужу Арапова, старшая дочь Натальи Николаевны от второго брака писала о якобы недоброжелательном отношении к сестрам со стороны жены Дмитрия Николаевича. Вряд ли это справедливо. По письмам Натальи Ивановны и Николая Афанасьевича Елизавета Егоровна нам рисуется как очень добрый человек, и трудно себе представить, чтобы Наталья Николаевна с ее мягким характером могла не поладить с невесткой. Но строптивая Александра Николаевна, вероятно, «выпускала коготки», и, возможно, именно на ее рассказах базируется Арапова. Заметим кстати, что она сама же говорит, что мать никогда ни о ком плохо не отзывалась.
Жизнь в этом глухом по тем временам уголке Калужской губернии текла монотонно. Изредка праздновались дни рождения или именины кого-нибудь из членов семьи. Тогда к столу подавалась бутылка шампанского. В день рождения главы семьи Дмитрия Николаевича полагалось две бутылки: очевидно, приезжали в гости соседи. В книге «Столовая провизия за 1837 год» есть такая запись: «В день рождения Марии Александровны Пушкиной – 1 бутылка». Марии Александровне в это время было… пять лет!
Сестры много читали. В доме была старинная библиотека, пополнявшаяся и новыми книгами. В одном из писем 1838 года к П. В. Нащокину Наталья Николаевна просила его прислать все сочинения Бальзака. Изредка переписывались с петербургскими друзьями и знакомыми.
С. Н. Карамзина пишет брату Андрею 15-16 июля 1837 года:
«…На днях я получила письмо от Натали Пушкиной. Она просит передать тебе привет. Она кажется очень печальной и подавленной и говорит, что единственное утешение, которое ей осталось в жизни, это заниматься детьми…