От отца Александр Иванович унаследовал склонность к изящной словесности — он пробовал силы в литературе, публикуясь под псевдонимами «Адонис». «Древнегреческое» имя не было случайным — Александр разделял с младшим братом Владимиром, известным в 1820-х годах поэтом, увлечение Античностью и даже имена своим сыновьям дал соответствующие: Валериан, Илиодор, Аркадий, Ипполит и Кронид. Трое из пятерых братьев, как и их отец, не чуждались пера. Среди них был и Аркадий Александрович Панаев, родившийся 6 августа 1821 года. С детства по настоянию отца он выбрал военную карьеру — окончив кадетский корпус, служил в одной из самых заслуженных кавалерийских частей России — Уланском Генерал-Адъютанта Князя Чернышева полку, где занимал должность адъютанта при князе А.С. Меншикове. 25 августа 1854 года А.А. Панаев был произведен в подполковники, за участие в Крымской войне в 1855 году удостоился боевого ордена Святого Владимира 4-й степени с бантом, а 5 февраля 1856-го получил такую же награду, как отец, — Золотое оружие с надписью «За храбрость». В 1859 году Аркадий Александрович вышел в отставку с производством в чин полковника, но и после этого занимал ответственные посты — в частности, был управляющим имением императрицы Марии Александровны «Ливадия». В 1877 году в двух томах сборника «Русская старина» были опубликованы мемуарные заметки А.А. Панаева о князе А.С. Меншикове.
По воспоминаниям знавших его людей, отставной полковник Панаев «был человек до самозабвения честный и точный в исполнении служебного долга, имел нрав прямой, рыцарский. Прекрасный кавалерист, он очень любил лошадей и был в них большой знаток. Панаев был человеком во всех привычках и взглядах своих чисто русским, отличался большой набожностью».
Аркадий Александрович долго мечтал о счастливой семейной жизни, но женился уже немолодым человеком. Его избранницей стала Вера Николаевна Одинцова. Она тоже происходила из семьи с крепкими военными корнями — ее отец Николай Иванович был поручиком, дед, Иван Иванович, — секунд-майором. 14 ноября 1878 года в семье появился первый ребенок, которому дали имя Борис. Счастью 57-летнего отца не было предела: он души не чаял в своем первенце, сам купал и одевал его (для тех лет это выглядело очень необычно). Между Аркадием Александровичем и Борисом быстро установилась особая тесная связь. Знакомые Панаевых вспоминали, что седобородый полковник в отставке и малыш Боря могли часами вести тихие доверительные разговоры о чем-то, понятном только им двоим.
3 апреля 1880 года в семье родился второй сын — Гурий. От скрытного и застенчивого старшего брата он отличался ловкостью и смелостью. Уже в пятилетнем возрасте Гурий мог забраться в Ливадии на кипарис и раскачиваться на его верхушке, не боясь упасть. Запомнился в семье и такой случай: однажды на конюшню Панаевых заползла гадюка. Пока кучера и конюхи совещались, как бы подступиться к ядовитой змее, маленький Гурий невозмутимо подошел к ней с топором в руках и одним ударом разрубил гадюку пополам.
С годами семья Панаевых разрасталась: 31 августа 1882 года на свет появился сын Лев, а 10 ноября 1884 года — Платон. К этому времени Панаевы уже обосновались в дворцовом пригороде Петербурга Павловске. В 1887-м старший из сыновей, Борис, поступил во 2-й кадетский корпус, расположенный в большом старинном здании на Петербургской стороне. Желание сына связать жизнь с армией не удивило ни Аркадия Александровича, ни Веру Николаевну — они и не предполагали для своих сыновей иной судьбы, кроме как служение Отечеству.
К несчастью, тихое семейное счастье четы Панаевых оказалось недолгим. 1 апреля 1889 года полковник в отставке А.А. Панаев скончался на 69-м году жизни и был похоронен в Павловске.
Борис, которому было уже десять, очень тяжело переживал смерть любимого отца. И без того застенчивый и сдержанный, он еще больше замкнулся в себе и словно перешел в следующий внутренний возраст: из мальчика стал сразу маленьким мужчиной, твердо знающим, чего именно он хочет от жизни. Целиком сосредоточившись на учебе, он быстро стал лучшим по успеваемости кадетом своего курса.
2-й кадетский корпус, где учился Борис, считался третьим по старшинству корпусом России. Он имел длинную и славную историю, восходившую к основанной в 1701 году Московской пушечной школе. В декабре 1762 года на ее базе в Петербурге был создан Артиллерийский и инженерный шляхетский кадетский корпус, в дальнейшем не раз менявший название и в 1864-м преобразованный во 2-ю Санкт-Петербургскую военную гимназию. 22 июля 1882 года эта гимназия стала именоваться 2-м кадетским корпусом, в котором училось 350 кадет, сведенных в три роты. Петербургские кадеты гордились именами своих великих предшественников, героев Отечественной войны 1812 года — М.И. Голенищева-Кутузова-Смоленского, В.Г. Костенецкого, П.М. Капцевича, П.П. Коновницына, И.С. Дорохова, А.Н. Сеславина, А.С. Фигнера. Сами про себя кадеты сложили такое двустишие: «Кто по строю молодецкий? То лихой Второй кадетский».