Лет до девяти ходили мы в русских рубашках, а зимой в тулупчиках и меховых шапках. Летом мы ездили в наше родовое подмосковное майоратное имение Волынщина, Рузского уезда. Там стены комнат нижнего этажа старинного дома были увешаны портретами наших предков по долгоруковской линии, исполненными большей частью известными французскими портретистами. В доме и на дворе были выставлены отличия и военные трофеи наших предков. А в приусадебной церкви, находящейся возле самого дома, возвышались их грандиозные надгробные памятники, начиная со сподвижника Екатерины князя В.М. Долгорукова-Крымского. В Волынщине мы играли с крестьянскими мальчиками, по будням в бабки, а по воскресеньям устраивали сражения со штурмом двух враждующих крепостей, устроенных на обрывах находящегося в парке оврага. Осенью мы обыкновенно ездили в подмосковное имение нашего деда Орлова-Давыдова Отрада, Серпуховского уезда. Там в огромном дворце екатерининских времен были плафоны, изображающие морские победы графа Орлова-Чесменского, разные фамильные реликвии и в семейном склепе могилы пяти братьев графов Орловых. Дедушка граф Владимир Петрович Орлов-Давыдов воспитывался в Оксфордском университете и был англоманом не только по воззрениям и привычкам, но и по наружности. Читал постоянно огромные листы Times. Он был хорошим хозяином и одним из крупнейших русских землевладельцев. В сороковых годах он подавал императору Николаю I записку о желательности освобождения крестьян от крепостной зависимости, но по английскому образу, то есть в качестве безземельных арендаторов. За эту записку его было предложено выехать на несколько лет из России.
Тринадцати лет я поступил в находящуюся близ нашего дома 1-ю Московскую классическую гимназию, где раньше учился и наш старший брат, в то время уже студент историко-филологического факультета. Он находился под влиянием славянофильского течения, дружил, как и мы, с младшим поколением Самариных и во время Русско-турецкой войны, будучи студентом 1-го курса, поехал с товарищем своим по гимназии и университету П.Н. Милюковым санитаром в московский лазарет на Кавказском фронте. Брат же Павел не захотел изучать классических языков и поступил в очень хорошую частную реальную гимназию Фидлера. И надо сказать, что он ничего не потерял, не поступив в казенную классическую гимназию, которая незадолго перед тем претерпела реформу министра графа Д.А. Толстого, заключавшуюся, между прочим, в том, что из ее программы было исключено совсем естествознание.
Между тем брат имел тяготение как раз к естественным наукам. Для того чтобы иметь возможность поступить в университет на естественный факультет, он по окончании реального училища подготовился в течение года к сдаче экзамена зрелости, занимаясь древними языками с двумя отличными преподавателями славившейся тогда в Москве частной гимназии Поливанова Никольским и Колосовым. Они оба были русские, в отличие от большинства преподавателей древних языков – чехов, наводнивших тогда казенные гимназии. В большинстве премилые люди, чехи, однако, придерживались немецкого схоластического и грамматического метода преподавания в ущерб ознакомлению учащихся с красотами античной культуры. Эта так называемая «гимнастика ума» должна была дисциплинировать мозги молодежи и заглушать в ней вольнодумство.