В 1849 г. Полотняный Завод посетил Н.В. Гоголь, который гостил в Калужской губернии в имении Бегичево
у Смирновых (прежде всего он хотел там видеть и пообщаться с его давней знакомой и верным другом А.О. Смирновой (в девичестве Россет), ставшей женой калужского губернатора Н.М. Смирнова и калужской губернаторшей, см. с. 215).Парусно-полотняная фабрика Щепочкина также имела непростую судьбу. Г.И. Щепочкин существенно увеличил свое состояние, женившись на Н.П. Демидовой – дочери крупнейшего русского заводчика. Его дочь Мария Павловна вышла замуж за барона А. Бистрома, участника Отечественной войны 1812 г. Богатое приданое М.П. Щепочкиной он бездарно растратил, хотя пытался вкладывать деньги в дела, обещавшие с первого взгляда хорошую прибыль. Но деловой хваткой Бистром не обладал, и вскоре наследники Щепочкина остались владельцами только двух маленьких деревенек и 3-этажного дома в Полотняном Заводе. На одной из дочерей Бистрома и внучке фабриканта Щепочкина – Александре Антоновне – женился Николай Иванович Пирогов
, известный хирург и педагог ХIХ в. Их свадьба состоялась в Полотняном Заводе в доме Бистрома в 1850 г. Пирогов прожил здесь три недели, рабочие шли к нему толпами, он всех принимал, денег за лечение не брал, на обычном столе делал сложные операции. Затем Пирогов уехал в Ревель, куда он имел назначение на постоянную работу в академический театр.После отмены крепостного права (1861) условия для работы фабрик в Полотняном Заводе принципиально изменились. У Гончарова и Бистрома (Щепочкиных) не было ни солидных средств для механизации их предприятий, ни дармовых рабочих рук. Парусно-полотняные фабрики Гончарова и Щепочкина вскоре были закрыты, ведь они не могли конкурировать с текстильными предприятиями, на которых стали вводить новые тогда механические веретена. А бумажная фабрика Гончарова успешно продолжала работать, так как на российском рынке спрос на бумагу год от года увеличивался. Условия для работы бумажной фабрики существенно улучшились с 1874 г., когда через Полотняный Завод проложили Сызрано-Вяземскую железную дорогу (доставка сырья и вывоз готовой продукции по железной дороге давали большой экономический эффект).
Во 2-й половине ХIХ в. в Полотняном Заводе поселились многочисленные кустари и ремесленники. Широкое развитие здесь получил пеньковый промысел. Также Полотняный Завод того времени славился производством кожаных и валяных сапог, самопрялок, телег, саней, картузов. Особенно много здесь изготовляли прялок, отсюда они расходились в разные части Российской империи. Полотняный Завод стал крупным торговым центром Калужской губернии.
Новое время и условия конкуренции на первом этапе развития капитализма в России заставили Гончаровых искать пути выживания их бумажной фабрики, обеспечивающей в значительной мере их благосостояние. На фабрике провели техническую реконструкцию, что позволило увеличить объем выпуска бумаги. Кроме того, они смогли найти свою «бумажную и уникальную нишу» – стали, по сути, монополистами на относительно небольшие заказы, но особых, специальных сортов бумаги: слоновой, чайной, спичечной, папиросной, раскурочной и др. Крупные предприятия не брали незначительные по объему заказы, да и еще на особые сорта бумаги. Финансово-экономическая обстановка менялась, но Гончаровы умели находить общий язык с заказчиками и рабочими.
До 1896 г. хозяйкой бумажной фабрики была деспотичная и своевольная Ольга Карловна Гончарова, которую в конце концов кто-то убил в ее кабинете. Ее сын и следующий владелец фабрики, Дмитрий Дмитриевич Гончаров (младший), был либерально настроенным человеком, считал, что, увеличивая свое богатство, он будет улучшать жизнь простых людей. В 1897 г. он ввел 8-часовой рабочий день для сменных рабочих (но поденные рабочие работали по 10 час. 30 мин.), для престарелых установил пенсию, некоторым категориям ведущих рабочих повысил зарплату. Другие фабриканты его дела осудили, а калужский губернатор при выборе депутатов в первую Государственную думу отвел его кандидатуру. Но на ряде предприятий Калужской губернии из-за серьезных недовольств рабочих, знакомых с порядками работы на бумажной фабрике в Полотняном Заводе, все-таки ввели 8-часовой рабочий день. Так произошло и на бумажных фабриках Говарда, в том числе на Троицкой и Кондровской бумажных фабриках.