Двенадцатилетний коллежский регистратор, отец мой, рос и учился в Казани; при открытии там университета (1805 г.) он хотел было поступить в студенты, но хотя и принимали тогда чуть не всякого, с самыми ограниченными сведениями, отец мой не попал туда, потому что латинского языка вовсе не знал, а по математике знал только четыре арифметические правила. В это время шла война с Наполеоном, собиралось в России земское войско или милиция. На выборах Казанского дворянства отец мой, будучи 18 лет, был выбран сотенным начальником милиции. Начальником его был избранный дворянством в губернские начальники Л. Н. Энгельгардт бывший сродни по жене дяди Василия Ивановича. Энгельгардт любил отца моего и держал его при себе. Это автор известных записок о временах Екатерины, умерший в 1836 году. Выйдя впоследствии из военной службы с мундиром, отец мой всегда носил милиционный мундир с малиновым воротником и маленькими золотыми пуговицами, с зеленым пером на трехугольной шляпе и золотую медаль на владимирской ленте с надписью: "за веру и отечество земскому войску". В этом мундире он завещал и похоронить себя. При роспуске ополчения он, по совету Энгельгардта, в 1808 году перешел в действительную военную службу в Уфимский пехотный полк, которым некогда командовал Энгельгардт и в котором оставалось еще много его сослуживцев. Там служба пошла было хорошо, но влюбившись в одну польку, отец в 1811 году, чтобы не разлучаться с нею, перешел в Каменец-Подольский гарнизон, в котором и находился в войну 1812 года. Роман с полькой кончился, однако, тем, что она вышла за какого-то пана; тогда в 1813 г. отец поступил в действующую армию в Великолуцкий пехотный полк штабс-капитаном; сделал поход за границу в 1813 и 1814 годах, а по окончании войны в 1816 году, за болезнью, переведен в Нижегородский гарнизонный батальон и в 1817 году назначен начальником жандармской команды, при том батальоне находившейся.
В Нижегородскую губернию на службу звал его старший брат Василий Иванович, поселившийся в пожалованном ему ардатовском имении. Здесь он женился на дочери соседа Любови Васильевне Жуковой,[2]
вошел через это в родство с местными помещиками, был долго предводителем дворянства Ардатовского уезда и умер в августе 1837 года на моих руках в буквальном смысле этого слова. Василий Иванович и братьев своих хотел видеть около себя, вследствие его вызова отец мой поселился в Нижнем, а дядя Димитрий Иванович, женившись на Бигловой, сделался помещиком Темниковского уезда Тамбовской губернии.В январе 1818 года отец мой женился на дочери нижегородского исправника, надворного советника Павла Петровича Сергеева, Анне Павловне. Дедушка Павел Петрович был человек в своем роде замечательный. Он пользовался уважением и был избираем дворянством в исправники в продолжение тридцати шести лет и ничего не нажил, когда по тогдашним нравам исправники в два или три трехлетия наживали по две, по три сотни душ. Учился он, как говорят, на медные деньги, но образовал себя чтением. Иностранных языков не знал, но в конце прошлого столетия и отчасти в начале нынешнего выходило множество переводов дельных книг, особенно французских. Дедушка на книги денег не жалел, и у него была большая библиотека; по смерти его, половина ее досталась моей матери, и я с раннего детства с ней ознакомился; тут были переводы греческих и римских классиков, исторические сочинения, переведенные с французского путешествия, все новиковские и академические издания, сочинения всех русских писателей от Кантемира и Ломоносова до Карамзина и Жуковского. Когда он ослеп, он заставлял дочерей читать ему вслух и все дожидался, когда мы, его внуки, выучимся грамоте и будем читать слепому дедушке.[3]
Павла Петровича все уважали, как я сказал, но в особенной приязни жил он с нижегородским уездным предводителем дворянства, князем Петром Сергеевичем Трубецким (отцом декабриста). Мать моя еще девочкой подолгу гостила у Трубецких в их Лапшихе и была много обязана им своим образованием, она была очень дружна с ровесницей своей княжной Елизаветой Петровной (впоследствии графиня Потемкина). Вторая жена князя Петра Сергеевича — Марья Петровна, рожденная Кромина, была родственницею Сергеевых — отсюда и близость моего дедушки с Трубецкими.[4]
Впоследствии старушку княгиню знал я в Петербурге, когда она жила у своего сына князя Никиты Петровича. Она умерла около 1860 г.
У Павла Петровича Сергеева были две дочери, старшая, Александра, в 1815 г. вышла замуж за имевшего хорошее состояние новгородского и симбирского помещика Никиту Захаровича Жилина, внука астраханского губернатора, повешенного в его симбирской деревне Енгалычеве Пугачевым, а через два года вышла замуж и моя мать. Вскоре после этого дедушка ослеп, оставил службу, переселился в город Балахну, купил там дом и доживал свой век.