А.А. Гончаров заботился о росте и упрочении авторитета своего рода. Во второй половине ХVIII в. в Полотняном Заводе началось строительство крупного усадебного комплекса, соответствовавшего приобретенному А.А. Гончаровым потомственному дворянскому званию (в 1742 г. за коммерческие успехи купец А.А. Гончаров был произведен в чин коллежского асессора, что давало право на потомственное дворянство). На рубеже 1760 – 1770-х гг. были построены огромный 3-этажный барский дом, 2-этажный гостевой флигель (Красный дом), разбит парк. Огромный парковый ансамбль Полотняного Завода создавался несколько десятилетий: с середины ХVIII до начала ХIХ вв. В парке были регулярная и пейзажные части, многочисленные затеи, цепочка живописных прудов. Гончаровы славились хлебосольством. В Полотняном Заводе в их усадьбе устраивались пиры, охоты, празднества, славились домашние спектакли, устраивались концерты, иллюминации, прогулки на лодках и в конных экипажах. Слава о красоте и роскошной жизни в усадьбе Гончаровых год от года росла и крепла.
В 1775 г. в Полотняный Завод, возвращаясь из поездки в Казань, заехала императрица Екатерина II. Специально для ее приезда в барском доме отделали опочивальню по типу ее спальни в Царскосельском дворце. Екатерина II полтора дня была в Полотняном Заводе, осмотрела корпус фабрик, похвалила Гончарова, разрешила ему именоваться Поставщиком двора ее Императорского Высочества за высокое качество выпускаемой им бумаги, наградила его медалью. Гончаров получил почетное звание фабриканта. В память о приезде императрицы Гончаров заказал в Германии бронзовую статую Екатерины II (скульптор Мейер) в виде греческой богини в шлеме и боевых доспехах (ее отлили, но так и не установили в Полотняном Заводе).
А.А. Гончаров умер в 1788 г. в возрасте 80 лет. Еще при жизни он поделил свои имения между двумя сыновьями. Николай получил имение в Медынском уезде, мануфактуры в Полотняном Заводе. Иван получил имения и заводы в Жиздринском, Серпейском, Лихвинском, Козельском уездах Калужской губернии и в Брянском уезде Орловской губернии. Н.А. Гончаров вскоре умер. Его сын и внук А.А. Гончаров – Афанасий Николаевич Гончаров, выросший на всем готовом, не знавший цену труда и истории гончаровских богатств, не только почти промотал все огромное состояние, доставшееся ему, но и наделал многочисленные долги. В Полотняном Заводе свой дом он обустроил как роскошный дворец, в котором ежедневно были многочисленные гости, устраивались балы, охота, в парке бродило стадо оленей, были многочисленные «парковые затеи». А.Н. Гончаров часто ездил развлекаться за границу, по-крупному играл в «рулетку» на французских курортах, устраивал кутежи. Все это требовало больших денег, он продавал и закладывал имения. Его жена, знаменитая красавица того времени Наталья Платоновна Мусина-Пушкина, не смогла сдержать его необдуманные действия и уехала от него. После этого Н.А. Гончаров предался разгулу еще в больших масштабах, деньги тратил без счета, продавал оставшиеся имения, множил свои долги. Ради получения денег он хотел продать или заложить имевшиеся у него полотняную и бумажную мануфактуры. Но сделать он этого не смог, поскольку его дед Афанасий Абрамович Гончаров записал в свое завещание условие получения наследства его потомками – запрет продажи или залога обеих фабрик. Вот почему фабрики в Полотняном Заводе по-прежнему принадлежали Гончаровым. Сын Афанасия Николаевича Гончарова – Николай получил хорошее образование. Когда его отец уезжал за границу, он дельно управлял делами, и ему даже отчасти удалось поправить финансовые дела их семьи. Но А.Н. Гончаров возвращался в Россию, брал снова дела в свои руки, что означало продолжение его безудержных, бесполезных трат и продолжение разорения их семьи. Н.А. Гончаров заболел тяжелой нервной болезнью, одной из главных причин которой была невыносимая обстановка в их семье из-за разгулов А.Н. Гончарова (его отца). Тяжело больной Н.А. Гончаров с женой – в молодости красавицей Натальей Ивановной Загряжской, превратившейся в нервную, сварливую, раздражительную женщину, – и детьми (три сына и три дочери) был вынужден уехать из Полотняного Завода в Москву, где поселился на Никитской улице. Душевнобольной Н.А. Гончаров в делах отца участия не принимал.
В 1812 г. жители Полотняного Завода и соседних селений сражались в партизанских отрядах, в отрядах народных мстителей с наполеоновскими вояками. После сражения под Малоярославцем Главнокомандующий русской армией М.И. Кутузов в октябре 1812 г. разместил в Полотняном Заводе в доме Гончаровых главный штаб русской армии. Комнату, в которой остановился Кутузов, с тех пор стали называть Кутузовской.
После 1812 г. финансовые дела А.Н. Гончарова еще более осложнились из-за разрушений и других гибельных для его владений военных действий. Крестьяне и рабочие выражали растущее недовольство усилением гнета вместо ожидаемого ими улучшения условий жизни и работы на гончаровских фабриках, ведь они внесли свой ощутимый вклад в победу над наполеоновскими войсками.