Посещение Полотняного Завода заставляет вспомнить многие страницы российской истории и призадуматься над событиями судьбы владельцев этой усадьбы. Царь Петр I усиленно укреплял военную и морскую мощь России, в том числе создавал флот, для которого нужны были в огромном количестве паруса, царь поручил своим указом от 1718 г. сметливому калужскому купцу Тимофею Филатову-Карамышеву построить заводы для производства полотна для парусов. Карамышев выбрал для строительства сельцо Сгомань, которое в связи с полотняной мануфактурой стали со временем называть поселком Полотняный Завод. По просьбе Карамышева к царю к построенному им в 1720 г. парусно-полотняному заводу (фабрике) приписали «работных людишек». Но рабочих рук не хватало, он принимал на фабрику воров, разных проштрафившихся людей, в том числе баб и девок, брал и отбывавших наказание, также у него работали и вольные люди. Карамышев жутко эксплуатировал работавших на него, но производственные и финансовые его дела шли успешно. В 1720 г. он добился у Петра I разрешения построить и бумажную мануфактуру. У Карамышева были два (как и он) энергичных и хитрых приказчика из калужских посадских людей: его племянник Григорий Иванович Щепочкин и Афанасий Абрамович Гончаров, они стали со временем его компаньонами. Спрос на полотно и бумагу был очень большим, а рабочих рук для предприятий Карамышева не хватало, что сдерживало рост объемов производства полотна и бумаги. В 1726 г. Карамышев получил разрешение у царя купить деревни и крестьян для нужд своего производства (купцы не имели права покупать земли, деревни, крепостных, такое право имели только дворяне). Вскоре недалеко от Полотняного Завода было основано село Карамышево
, ставшее своего рода памятником предприимчивому, стремившемуся к наживе любой ценой купцу Т. Филатову-Карамышеву. Когда он стал старым и сам руководить всеми делами уже не мог, с ним вошли в пай (1732) А.А. Гончаров и Г.И. Щепочкин, которые соответственно стали пользоваться и прибылями, постепенно заводы оказались в их руках. В 1735 г. Карамышев умер, Гончаров и Щепочкин разделили между собой имущество полотняно-заводской мануфактуры. Гончаров стал владельцем бумажной и полотняной фабрик, Щепочкин получил часть инвентаря парусно-полотняной фабрики, строения. А.А. Гончаров, бывший «калужский посадский человек», получил львиную долю (2/3) имущества, через 50 лет он стал крупным вельможей, с ним переписывался сам царь Петр I. Легенда утверждает, что А.А. Гончаров был побочным сыном Петра I, что именно поэтому он вместе с родным племянником Т. Филатова-Карамышева – Г.И. Щепочкиным стал приказчиком, а затем компаньоном в мануфактурном деле. Внешнее сходство А.А. Гончарова и Петра I заставляет верить этой легенде. А если вспомнить особое внимание Петра I к делам и просьбам Гончарова, которые он непременно выполнял, то сомневаться в их родстве не приходится. Неспроста приезжала (1775) к Гончарову и императрица Екатерина II.