Отец его, Иван Никитич, занимался выработкой ручным способом бумажных тканей. Делалось это так: пряжа покупалась на вновь возникавших бумагопрядильных фабриках и привозилась в Середу летом по Волге и зимой гужом. Здесь пряжа приготовлялась для тканья и раздавалась по соседним деревням для выработки миткаля. Дело это к концу 60-х годов Иван Иванович развил до больших размеров, давая работу местному населению на 3 000 ручных станков, вырабатывая в год до 70 000 кусков и более миткаля, на сумму около 400 000 рублей. В летние месяцы работа не производилась, так как народ занимался хлебопашеством. В это время Иван Иванович купил у крестьян деревни Фроловки — в 2-х верстах от Середы, на речке Шаче — 21/2 десятины земли и построил механическую ткацкую фабрику на 450 ткацких станков, которые выписал из Англии.
Фабрика эта начала функционировать в 1871 году под руководством двух главных мастеров, выписанных из Англии.
Так как механическая выработка миткаля далеко по качеству своему превосходила ручную выработку, то требование на новый товар было очень большое, и продажа его для фабриканта была выгоднее.
Вследствие этого фабрика быстро начала расширяться, и к началу 80-х годов в ней уже действовало 1 120 ткацких станков.
В первое время основания механическо-ткацкой фабрики миткаль, вырабатывавшийся на ней, сбывался по-прежнему, как и ручной, на ситценабивные фабрики села Иванове (ныне Иваново-Вознесенск), а к концу 70-х годов на этот товар уже явились требования от фабрикантов Московского района.
С этого времени (с конца 80-х годов) скворцовский миткаль занял почетное место среди товаров, производимых первоклассными русскими фирмами.
В 1889 году Иван Иванович приобрел у «Торгового дома А. Павлова сыновей» другую фабрику, тоже миткалево-ткацкую.
Но через два года ему пришлось прекратить свою деятельность навсегда: в 1890 году он тяжело заболел и в 1892 году скончался.
После его смерти все дела перешли к его единственной наследнице, дочери Матрене Ивановне, по мужу Павловой.
Матрена Ивановна, будучи от природы женщиной деятельной и энергичной, не нашла нужным ликвидировать дела, а стала их продолжать.
Первым долгом она обратила внимание на техническое состояние фабрик которые во время болезни Ивана Ивановича несколько в этом отстали.
Ею была предпринята капитальная перестройка, она улучшила и обновила здания фабрики, машины, квартиры служащих и больницы. Все торговое и фабричное дело велось до 1 октября 1894 года под фирмой «Наследница Ивана Ивановича Скворцова — Матрена Павлова». Во всех ее делах ей содействовал муж — Петр Александрович Павлов. Kроме фабрично-торговой деятельности, Матрена Ивановна была не чужда и деятельности благотворительной, завещанной ей отцом. Она пожертвовал. крупные суммы на ремонт и обеспечение местных храмов. Сумма пожертвований достигла 150 000 рублей. Затем ею же было много пожертвовано в Московский университет, на постройку здания для библиотеки имени ее отца. Много ею же сделано и других добрых дел. Совместно с мужем, Петром Александровичем, она выстроила при фабрике прекрасное училище для детей рабочих и служащих, на что было затрачено 35 000 рублей. Вследствие болезни Матрены Ивановны, постигшей ее в 1894 году, она не могла принимать непосредственного участия в ведении дела, и оно все целиком легло на мужа ее, Петра Александровича. Спустя же десять лет, в 1904 году, она передала принадлежащее ей дело мужу и сыну, тогда еще малолетнему, Павлову Николаю Петровичу.
В 1897 году Петром Александровичем для более рационального ведения дела было учреждено, от имени своего и малолетнего сына Николая Петровича, паевое товарищество под названием «Товарищество мануфактур, основанных Иваном Ивановичем Скворцовым».
Главным пайщиком и владельцем предприятий становится внук основателя мануфактур — Николай Петрович. Но до его совершеннолетия по-прежнему руководителем всего был отец — Петр Александрович.
В 1903 году в ведении дела начал принимать участие и главный пайщик товарищества — Николай Петрович, а в 1906 году, когда Петр Александрович вышел из товарищества, Николай Петрович стал почти единоличным владельцем паев. Он в качестве директора-распорядителя принял на себя все руководство по ведению всего торгового и фабричного дела.
Молодой и смелый в своих начинаниях, Николай Петрович, вступив в непосредственное управление всем делом, занялся главным образом вопросом об обеспечении разросшихся до громадных размеров фабрик своей пряжей. С этой целью он в 1907–1908 годы предпринял постройку обширной прядильной фабрики, причем местом ее постройки избрал село Середу, где находилась родоначальница всех его фабрик.
Бумагопрядильная фабрика сначала занимала прекрасное пятиэтажное здание со служебным при нем корпусом, котельною и электрической станцией.
При серединских фабриках товарищества имеются два храма: большой храм во имя Божией Матери Всех Скорбящих Радости, малый — во имя Успения Пресвятой Богородицы.