Особо заметных следов предки Петра Лавровича в русской истории, однако, не оставили. Семейной традицией была верная служба царскому престолу и отечеству. Прадеда, от которого и шло родовое имение, судьба высоко подняла — он служил адъютантом графа Апраксина, одного из сподвижников Петра I. Воевали и другие великолукские Лавровы. Некоторые из них — а у деда Петра Лавровича детей «мужеска и женска пола» было 22 человека — вели войну преимущественно с «врагами внутренними», соседями. В «Заметках о великолуцком уезде», опубликованных в 1857 году историком М. И. Семевским, рассказывалось о страшнейшей драке помещика секунд-майора Лаврова с помещиком Саваскеевым. Очень лют был тот Лавров, буквально военные набеги совершавший на имения земляков-соседей.
Отец Лаврова, Лавр Степанович, верный традициям рода, и в армии служил (вышел в отставку полковником, а прежде в кампании против Наполеона участвовал), и дома командовал. Самодур не самодур, но вольнодумства не терпел, порядок любил во всем, строг был до чрезвычайности, считая себя самодержцем в имении, отцом-командиром. Не желал расставаться со старшей дочерью — и всем сватавшимся от ворот поворот давал; так и умерла она старой девой. Опека его над всеми домашними была полной и всесторонней. Уже в старости Петр Лаврович рассказывал одному из близких ему людей, Николаю Русанову, о том, как Лавр Степанович лечил своих подчиненных по весьма своеобразно понятой им методе модного в то время немецкого доктора Христофа-Вильгельма Гуфелайда. Главным в этой методе Лавр Степанович считал принятие лекарств «эвакуирующего характера». А средства эти были — и для приема каждый день, и для принятия еженедельного, и ежемесячные, и такие, наконец, которые подлежали введению в организм один раз в году. «Можете представить себе настроение домочадцев, челяди и дворовых, — писал Русанов (а Петр Лаврович свои впечатления от того «настроения» на всю жизнь сохранил), — когда загоралась заря того великого дня очищения, в которой течение светил небесных определяло совпадение этих различных сроков, и «эвакуирующие» средства предлагались в четверояком виде…»
Не склонный к религиозной набожности, Лавр Степанович тем не менее долгом своим считал строго придерживаться обычаев православия. Священники приглашались в дом во всех подобающих случаях (правда, угощались отдельно от барской семьи), а в сельской церкви по приказу хозяина был построен новый притвор, изукрашенный иконами святых, имена которых были даны домочадцам.
Внутренний мир Лавра Степановича не был лишен и некоторых устремлений к просвещенности. В доме — множество хороших картин и скульптур, богатейшая библиотека, а в пей, среди прочего — французские вольнодумцы XVIII века, Вольтер, Энциклопедия Дидро и д’Аламбера. Литературные новинки из-за границы выписывались. Детей сызмальства приохочивали к чтению. Детей же было трое — два сына, Михаил и Петр, и дочь Екатерина.
Петр — младшенький. В 1824 году при проезде в южную Россию имение Лавровых посетил император Александр (ничего удивительного: Лавр Степанович был личным другом всемогущего Аракчеева) и, как гласит семейное предание, приласкал годовалого малыша (знал бы царь, кто из него вырастет!). Осчастливленный отец в честь этого приснопамятного события воздвиг в саду колонну с чугунным бюстом обожаемого монарха, вскоре приказавшего долго жить…
Очень рано — лет в пять-шесть — Петр выучился читать, по-русски и по-французски одновременно. Книги стали главной его отрадой и страстью. На всю жизнь.
Крутой нрав отца отталкивал от него чувствительного мальчика. Брату и сестре с Петром было неинтересно: Катя старше его на одиннадцать лет, Михаил — на шесть. Только у матери и находил Петруша ласку, понимание и слова утешения.
Елизавета Карловна (урожденная Гандвиг) происходила из обрусевшего шведского рода; отец ее служил по горному ведомству, управлял одним из металлоделательных заводов в Сибири. Женщина образованная и добрая, Елизавета Карловна учила мальчика немецкому языку, да и вообще скрашивала сколько могла довольно однообразное, без игр и потех, существование своего меньшого. Но много ли могла она?! Разве что природной мягкости характера потрафить…
Так и рос, воспитываемый как девочка, рыжеволосый и чуть картавящий барчонок: беспрекословное послушание, одиночество (из сада — никуда!) — и книги, книги, книги. Тут его вкус во многом направлял приглашенный в дом учитель французского и немецкого Берже — давал заучивать наизусть Шиллера, Гюго, Вольтера… На всю жизнь запомнил Петр шиллеровскую «Песнь о колоколе»…
Исполнилось Петру четырнадцать — и отвез его отец в петербургское Артиллерийское училище: отставной полковник артиллерии желал продолжения семейной традиции.