Дом был небогатый. Толстой рассказывал, что Берсы жили как обыкновенная чиновничья семья: тесный кабинет, куда больные поднимались по шаткой, ненадежной лестнице, низкие потолки, пыльные, просиженные диваны. Андрей Евстафьевич, сын аптекаря, получил дворянство в тридцать пять лет, когда состоял врачом сената, затем такую же должность занимал в Московской дворцовой конторе. Его юность неотделима от истории семейства Тургенева: сразу после выпуска он уехал в Париж в качестве лекаря при родителях писателя, а через несколько лет у него началась связь с Варварой Петровной, и была от этой связи девочка, единоутробная сестра Ивана Сергеевича Варя Лутовинова.
Услуги врача потребовались тяжело заболевшей в отцовском имении Красное — в тридцати семи верстах от Ясной Поляны — Любе Иславиной. Задержавшегося по делам в Туле Берса привезли к шестнадцатилетней пациентке. Дело кончилось венчанием. Лиза родилась в 1843 году. Год спустя явилась на свет вторая дочь — Соня.
В кремлевском ордонанс-гаузе вечно гостили какие-то родственники и знакомые, и прислуги было не меньше десяти человек. Мать почти не выезжала, целиком посвятив себя воспитанию маленьких Берсов, с которыми держалась строго, часто их пугая своей напускной холодностью; отец, напротив, отличался добротой, но из-за его вспыльчивости часто в доме стоял крик и происходили крупные сцены. Татьяна Кузминская, автор книги «Моя жизнь дома и в Ясной Поляне» — самых ценных мемуаров о Толстом, — пишет, что ее сестра Соня была очень живой, но сентиментальной девочкой, которая словно «не доверяла счастью, не умела его взять и всецело пользоваться им». Лиза, с которой у них еще в ранние годы начались столкновения и ссоры, прозвала Соню «наша фуфель», издеваясь над ее всегдашней меланхоличной чувствительностью. Когда летом 1856 года Лев Николаевич, автор уже прочитанных сестрами повестей, впервые побывал у Берсов, Соня, на которую он произвел большое впечатление, записала в своем дневнике: «Вернется ли когда-нибудь та свежесть, беззаботность, потребность любви и сила веры, которыми обладаешь в детстве?» А Лиза добавила на полях: «Дура».
В следующий раз он приехал к Берсам через пять лет, когда пришло время выдавать милых девочек замуж, и его визиты, частые в московскую зиму 1862 года, приобрели особенный оттенок. Незадолго перед тем у Сони вышел инцидент с учителем братьев, который, помогая что-то переносить, не сдержался и поцеловал ей руку. Она была шокирована подобной смелостью, а от матери выслушала жесткий выговор: вот с Лизой такого бы никогда не случилось. Конечно, не случилось бы, ведь Лиза каменная и никого не жалеет. О Соне этого сказать было нельзя.
Племянников Толстого, детей его сестры Маши, юные Берсы хорошо знали благодаря танцклассу, который устраивался у них по субботам. И сам Лев Николаевич незримо всегда присутствовал в их доме. Что-то о его детских годах наверняка рассказывала мать, а журналы с его произведениями у Берсов исправно читались.
Когда он начал бывать в доме постоянно, как-то сама собой пришла мысль, что все идет к его женитьбе на Лизе.
С нею он вел серьезные разговоры о своей школе, о журнале, который надумал издавать, и о статьях, которые она в этот журнал напишет, — две ее статьи действительно были напечатаны. Таня, его любимица, в свои неполные пятнадцать лет оставалась для него ребенком, и он ее катал по комнатам, усадив себе на спину. Соня ему нравилась своей серьезностью. Они играли в четыре руки на фортепиано, и она рассказывала, что готовится держать в университете экзамен на звание домашней учительницы. Экзамен был успешно сдан как раз той зимой. Очень помогли беседы с тем самым воспитателем братьев, который однажды позволил себе неслыханную дерзость — поцелуй, то есть признание в любви. Он был студент-медик, отъявленный материалист, поклонник Фейербаха, которого давал читать барышням, смущенным этой грубой философией. Впоследствии он прославился тем, что сочинил «Дубинушку», народную песню, сделавшуюся коронным номером в репертуаре Шаляпина.
О том, что у Сони серьезный роман, Толстой, вероятно, долгое время не знал. Героем этого романа был некто Поливанов, будущий лейб-гвардеец, учившийся в Петербурге в Инженерной академии. Считалось, что они с Соней влюблены друг в друга и что она его невеста, хотя пока круг младших Берсов все это держал в тайне, так же как роман Тани с ее кузеном Кузминским. «Мы все были понемногу влюблены, — вспоминает о том времени Татьяна Андреевна. — И эта любовь, такая детская и, может быть, смешная в глазах взрослых людей, понимающих жизнь, будила так много хорошего в наших сердцах. Она вызывала сострадание, нежность, желание видеть всех добрыми и счастливыми».
Лиза находила, что все это глупости. Когда затеяли любительский спектакль и она застала Поливанова, игравшего героя, припавшим к руке героини — Сони, то сухо объявила, что такое недопустимо даже на театральных репетициях. И что она обо всем расскажет мама.