Главное имение Гончаровых представляло собой редкий образец слияния усадебного комплекса с промышленным. Заводы являлись основой благосостояния семьи, и потому их создатель Афанасий Абрамович, для того чтобы обезопасить фамильное дело на будущее, в конце жизни хлопотал о создании майората — неделимого имения, переходящего из поколения в поколение. Ему удалось добиться своего: в 1778 году был издан специальный указ, по которому никто из наследников не мог ни продавать, ни делить заводы и приписанные к ним деревни. Владельцем становился старший в роде, а остальные могли только пользоваться доходами с заводов. Этот указ осложнил в будущем решение материальных проблем семьи Пушкина и Натальи Николаевны.
Тогда владельцем заводов и распорядителем доходов с майората являлся внук его основателя Афанасий Николаевич Гончаров. Выйдя в отставку, он полностью посвятил себя Полотняному Заводу. Но если дед умел наживать, то внук умел с большим вкусом тратить нажитое. Полотняный Завод был превращен им в великолепную барскую усадьбу со всевозможными затеями, на которые так изобретателен был Екатерининский век. Афанасий Николаевич любил жить широко, ни в чем не отказывая себе и не отставая от виднейших вельмож. Трехэтажный барский дом «покоем», построенный им рядом с фабриками, поражает при первом взгляде своими масштабами, а при внимательном знакомстве — великолепием отделки интерьеров, над которыми трудились и русские, и иностранные мастера. Огромных расходов требовало не только создание всего великолепия усадьбы, но и ее содержание. Да и свой московский дом Афанасий Николаевич поставил на барскую ногу.
Неотъемлемой частью имения являлись собственно заводы, давшие ему основание. История самого рода Гончаровых не просто связана с Полотняным Заводом, но всем обязана ему, начиная со своего зарождения. Когда речь идет о старых русских фамилиях, таких как Пушкины, то история родового поместья следует за историей тех заслуг перед отечеством, которые были вознаграждены их пожалованием. Другое дело, когда речь идет о новом, выслужном дворянстве, а тем более поднявшемся из купеческого сословия, как это и было в случае с Гончаровыми. Заводы дали им состояние, а со временем и права на дворянство, и только после этого могла создаваться собственно дворянская усадьба. Подобное могло произойти лишь в результате Петровских реформ, когда в гору пошли и соединились с «гордым русским дворянством» такие фамилии, как Строгановы, Демидовы и другие, не столь известные и громкие. К ним относились и Гончаровы. Так что по своему рождению Наталья Николаевна принадлежала к так называемому новому дворянству.
Ей едва исполнился месяц, когда тогдашний владелец Полотняного Завода, дедушка Афанасий Николаевич, в сентябре 1812 года неожиданно вернулся из-за границы. В его дневнике читаем запись: «Приехал на Завод в 4-м часу пополудни. Не нашел ни хозяев, ни приказчиков и дом совершенно пустым».
Когда Москва была оставлена французами, Полотняный Завод снова оказался в зоне военных действий. Кутузов повел русскую армию по старой Калужской дороге в убеждении, что Наполеон в надежде на запасы пойдет на Калугу, как и произошло. Сражением под Малоярославцем русские войска сумели оттеснить французскую армию на старую Смоленскую дорогу. Афанасий Николаевич становится свидетелем происходящих событий, что отражается в дневнике, который он неизменно ведет.
«12/24 октября. Суббота. Сей день большое сражение в Малом Ярославце. Город начал гореть, и с сей ночи французская армия начала ретироваться.
13/25 октября. Воскресенье. На Заводе. Сей день сражение в Медыни, где наши три казачьи полка разбили неприятельской корпус, состоящий из 5000 человек, взяли 5 пушек и двух генералов».
Еще через день, во вторник 15 октября, со стороны сражения от села Детчина в Полотняный Завод въехал штаб главнокомандующего фельдмаршала М. И. Голенищева-Кутузова. В те дни А. Н. Гончаров записал в дневнике:
«15/27 окт., вторник. На Заводе. Утром вся дворня и фабричные разбежались с Заводу в разные места. А к вечеру Главная наша армия пришла ко мне на Завод, где учреждена Главная квартира. Я ж, отдав весь свой дом под оную, сам выехал ночевать в Товарково к Петру Антипову.
16/28 окт., середа — в Товарково. По утру рано ездил на Завод в Главную квартиру, был у Светлейшего, коим весьма хорошо был принят, благодарен за порядок нашедшей у меня на Заводе и им даны мне караулы расставить при всех магазеинах и фабриках, также и по садам для сбережения всего имущества. Пробыл я на Заводе до вечера, откуда на ночь опять уехал в Товарково.
17/29 окт., четверг — в Товаркове же. Рано по утру отправился опять на Завод. После обеда вышла армия и Главная квартира в село Адамовское. Провожал Светлейшего, которой для моего збережения оставил мне эскадрон кирасиров на мое содержание и 4 пленных мне отдали с рук на руки. Графа Moroet, St. Air и двух женщин. Был до самого вечера на Заводе, а ночевал опять в Товарково».