Женой Д.Д. Гончарова была Вера Константиновна, до замужества актриса Московского театра «Корш». Супруги любили театр и в Полотняном Заводе открыли Народный театр, организовалась при нем и любительская драматическая труппа, которой руководил артист-профессионал. В театре проводились концерты и литературные вечера, ставились оперные спектакли. Полотняный Завод стали называть «маленькими Афинами». Летом 1893–1895 гг. с родителями у их хороших друзей Гончаровых жила будущая актриса МХАТа О.Л. Книппер (Чехова). Она начала играть и петь именно на сцене Народного театра, поверила в свои силы и решила стать профессиональной актрисой. В Народном театре выступали и Е.Ф. Гнесена, и чета Гончаровых.
В 1900 г. в Полотняный Завод после 8-месячного тюремного заключения приехал Анатолий Васильевич Луначарский (1875–1933), которому было определено властями временное проживание в Калужской губернии. В Полотняный Завод его пригласил его знакомый и владелец этих мест Д.Д. Гончаров.
С начала ХХ в. революционные волнения, забастовки, маевки вошли в жизнь Полотняного Завода. Первая русская революция (1905) принесла новые тревоги и беды, в 1908 г. весенние воды затопили территорию фабрики и разрушили многие дома рабочих, в 1910 г. случился на фабрике пожар, год от года росло число аварий и несчастных случаев. Но в 1909 г. в Полотняном Заводе открыли 4-классное высшее начальное училище, в 1912 г. построили земскую больницу, в 1914 г. открыли первый кооперативный магазин.
В 1918 г. бумажная фабрика в Полотняном Заводе была национализирована, начался новый, советский, период развития этого селения. Было сделано очень многое для улучшения жилищных условий и культурно-бытового обслуживания рабочих и членов их семей.
В октябре 1941 г. фашисты заняли Полотняный Завод. Они грабили население, забирали продовольствие и теплую одежду, мужчин и подростков угоняли на работу в Германию. Жители Полотняного Завода создавали партизанские отряды, смело действовавшие в условиях временной гитлеровской оккупации калужских земель. За 100 дней боевой деятельности местные партизаны из жителей Полотняного Завода освободили из плена около 200 красноармейцев, уничтожили почти 100 фашистов, взорвали 3 моста, отбили свыше 100 подвод, нагруженных награбленным добром, уничтожили несколько вражеских автомашин. В январе 1942 г. войска Советской Армии освободили Полотняный Завод от фашистов. Но поселок и фабрика очень сильно пострадали, из 600 зданий остались считанные единицы полуразрушенных домов. В годы Великой Отечественной войны в Полотняном Заводе размещалась авиаэскадрилья французских летчиков «Нормандия – Неман», впоследствии ставшая полком. С марта 1943 г. французские летчики на советских истребителях ЯК-1 участвовали в боевых операциях. В апреле 1943 г., защищая Полотняный Завод, французские летчики Дюран и Прециози открыли свой счет сбитым фашистским военным самолетам. С огромным трудом поселок и фабрику восстановили после разрушений военного времени.
Год от года растет и увеличивается осознание мемориальной, культурной, архитектурно-художественной значимости Полотняного Завода. После 1917 г. в господском доме Гончаровых с использованием других усадебных построек (в 1760 – 1770-е гг. были построены главный дом усадьбы, хозяйственные постройки, фабричные корпуса, разбит парк с прудами) была открыта школа, сохранялись мемориальные комнаты Пушкина. Только с 1970-х гг. начали реставрацию разрушенной в годы Великой Отечественной войны 1941–1945 гг. бывшей Гончаровской усадьбы, а также примыкающей к ней бывшей усадьбы Щепочкиных, главного дома и хозяйственных построек (2-я половина ХVIII в.). В 1999 г. к 200-летию А.С. Пушкина в Полотняном Заводе был открыт мемориальный музей-усадьба.