Мать Ремизова — Марья Александровна — принадлежала к видному московскому купеческому роду Найденовых. В 1765 году основатель рода (прадед Ремизова) — крепостной крестьянин Егор Иванович Найденов, уроженец села Батыева Суздальского уезда Владимирской губернии, был продан владельцу шелковых фабрик, московскому купцу Колосову и стал красильным мастером, а со временем открыл собственное дело — красильню. Его сын (дед писателя) — Александр Егорович-меньшой расширил дело: завел ткацко-набивную и шерстопрядильную фабрику. Всем представителям найденовского рода была свойственна тяга к культуре. Так, Александр Егорович, окончивший лишь приходское училище, самостоятельно выучился французскому языку, много читал, вел своеобразную «найденовскую летопись». Всем детям (трем сыновьям и трем дочерям) он дал хорошее образование в Петропавловском евангелическо-лютеранском училище, где преподавание велось на немецком и французском языках. Самым знаменитым среди них был дядя Ремизова — Николай Александрович Найденов[3]. Он продолжил родовое торговое дело, основал и руководил Московским Торговым банком, в течение 25 лет был бессменным председателем Московского Биржевого комитета и активным гласным городской думы. «Маленький, живой, огненный» — таким запомнился он хорошо знавшим его современникам[4]. Н. А. Найденов получил известность не только как крупный предприниматель, финансист, но и как историк, написавший немало научных трудов, и как меценат, много сделавший для сохранения и изучения московских древностей, друг И. Е. Забелина. Огромная семейная библиотека А. Е. и Н. А. Найденовых составила основу библиотеки Московского Биржевого комитета, а впоследствии была включена в фонды Российской государственной библиотеки. Говоря о своих корнях — «заветах дедовских», Ремизов с гордостью писал о Н. А. Найденове: «Нрава «задорного», <…> с огромными знаниями не только в чисто экономических и юридических науках, но и по истории и археологии, и с большим творческим полетом, весь одаренный, не похожий ни на кого, превратил он свою жизнь — свои дни в какую-то бессменную работу, без передышки, без праздников, без прогулов для крепкой и деятельной, крепко выкованной гордой русской России»[5]. По свидетельству родных, Алексей Ремизов был внешностью и нравом похож на своего дядю, что в жизни приводило обоих к неоднократным столкновениям. В юности мать Ремизова была проникнута «передовыми идеями» 60-х годов и участвовала в Богородском кружке московских нигилистов. Из-за несчастной любви она «назло» своим прежним устремлениям вышла замуж за вдовца М. А. Ремизова, бывшего вдвое старше ее. Их брак оказался несчастливым. После рождения пятерых мальчиков (один из них умер в младенчестве) Марья Александровна, забрав детей, ушла от мужа и вернулась домой. По воле опекунов-братьев они поселились на положении бедных родственников на территории их фабрики, во флигеле у Найденовского пруда. Изломанная судьба наложила печать на характер Марьи Александровны и на ее взаимоотношения с сыновьями — Николаем, Сергеем, Виктором и Алексеем. Целыми днями она сидела, запершись, в своей комнате, читая книги и мало занимаясь детьми. В восприятии Ремизова образ матери навсегда остался овеянным ореолом страдания. Именно она стала прототипом многих трагических героинь его раннего творчества.
Братья Ремизовы вначале были на попечении прислуги, а затем росли в окружении соседей — фабричных рабочих и их детей. В возрасте двух лет Алексей, ударившись о железную игрушечную печку, сломал себе нос. Это явилось для него не только физической, но и тяжелой психической травмой. Ее последствия сказались на формировании его личности, способствовали, одновременно, и образованию комплекса неполноценности («уродства»), и осознанию этого события как символического факта — наложения на него некоей печати избранничества.