В 1738 г. А. А. Гончаров подал в сенат прошение «учинить ему против его братьи фабрикантов награждение — записать за ним приписанных к его фабрике крестьян вечно», так как «он собственным своим и заемным капиталом распространил свои фабрики, не требуя от казны, как прочие фабриканты, знатной суммы денежного вознаграждения», и «те фабрики приведены в такое доброе содержание, что парусные полотна продаются в заморской отпуск с немалою похвалой, а бумага в России с не малою в деле пред другими фабриками убавкою». В 1739 г. (21 марта) сенат удовлетворил просьбу Гончарова. Последний должен был внести за семейство рабочего по 50 руб., за мужчину по 10 руб., а за «девок» старше 15 лет по 2 руб. 50 коп. Кроме того, при фабрике Гончарова велено было остаться всем пришедшим к нему крестьянам помещичьим, дворцовым, архиерейским и монастырским; отставных же солдат позволено было держать по их желанию. В 1740 г. каммер-коллегия отозвалась, что фабрики Гончарова «осмотром оказались в добром состоянии и в немалом размножении находятся, но за недовольством мастеровых и работных людей немалое число станов стоят праздны без действия». Через два года (1742 г.) А. А. Гончаров «за распространение фабрик, особливо бумажной, к пользе государственной, в чин коллежского асессора ранг майорский пожалован», так что теперь посадский человек сделался дворянином. Но недовольство рабочих, отмеченное в 1740 году, росло, и в 1752 г. Гончарову пришлось жаловаться. Была послана в Полотняный завод команда, которую крестьяне, в числе 860 человек, встретили с оружием в руках; у них были какие‑то необыкновенные ножи, и многие ходили в гренадерских шапках. Они напали на команду, разбили ее и отняли пушки. Пришлось послать бригадира Хомякова с тремя полками. Только благодаря артиллерии ему удалось разбить заводских крестьян и привести их в повиновение. Однако, полного спокойствия на фабрике не установилось. 22 февраля 1754 г. обнаруживается злой умысел — покушение взорвать фабрику. Был найден горшок, полный пороха в амбаре и «понеже та фабрика состоит близ того амбара, с немалым деревянным строением, то она от того без остатка сгореть могла». Не было спокойно у Гончарова в Полотняном и во время Пугачевщины. Многие фабричные к мерам предосторожности против Пугачева «оказались не согласны» и ждали с надеждами «батюшку Петра Федоровича».
16 декабря 1775 г. Полотняный завод посетила Екатерина II; доселе еще хранится стул, крытый алым бархатом с серебряным позументом, на котором сидела императрица. В воспоминании о своем пребывании Екатерина разрешила Гончарову поставить в селе ее статую, которая была отлита из бронзы в Берлине. Однако памятник по каким‑то обстоятельствам поставлен не был и пролежал до конца 40-х гг. XIX в. в кладовых фабрики, когда он был куплен в Екатеринослав, где и ныне находится в сквере на Соборной площади.
А. А. Гончаров умер в 1788 г.; состояние его оценивалось в 6 млн. руб. серебром.