Задумываясь впоследствии над своим детством и юностью, над судьбою матери и отца, Тургенев говорил: «Жизненные условия, в которых мы все воспитались и выросли, сложились особым, небывалым образом, который едва ли повторится». Семейная драма в доме Тургеневых осложнялась драмой общественной, именуемой крепостным правом, которое, по словам М. Е. Салтыкова-Щедрина, «втягивало все сословия в омут унизительного бесправия, всевозможных изворотов лукавства и страха перед перспективою быть ежечасно раздавленным». С детских лет Тургенев почувствовал, что его личные обиды являются отголоском всенародной беды.
Жил в одном из имений матери статный и рослый великан, глухонемой крестьянин Андрей. Заприметила однажды Варвара Петровна во время поездки по далеким имениям его богатырскую фигуру на хлебном поле и приказала управляющему немедленно доставить мужика в барскую усадьбу. Беззащитного, ничего не понимающего Андрея усадили всем миром в телегу и по прихоти госпожи доставили на барский двор. Что было в душе этого пахаря, насильственно оторванного от родной почвы, от привычных крестьянских трудов? До переживаний Андрея Варваре Петровне не было никакого дела. Она и государственных-то чиновников мелкого пошиба за людей не считала. Принимала, например, однажды ванну в специальной комнате, а в Спасское приехал становой, «Немедленно ко мне!» Становой сконфузился, увидев Варвару Петровну через приотворенную дверь. Тогда она на него грозно прикрикнула: «Да ну! Иди, что ли! Что ты для меня? Мужчина, что ли?!» Так обходилась владетельная особа с судебной властью, а уж об Андреях да Герасимах ей и в голову не приходило задумываться. На мужиков она смотрела как на полную свою собственность: что нравится барыне, то должно приносить радость и рабу.
Чего только не делал немой Андрей по барским приказаниям для удовлетворения прихотей капризной госпожи, каких только должностей не исправлял. В Спасском на первых порах он был назначен собственным господским скороходом. Одна из бедных дворянок, воспитанниц Варвары Петровны, вспоминала: «До сих пор живо представляется мне, как по дороге, ведущей к нашему дому, шагает гигант с сумкой на шее, с такой же длинной палкой, как и он сам, в одной руке, а в другой — с запиской от Варвары Петровны». Случилось что-нибудь? Как же! Госпожа соскучилась по своей воспитаннице и пригласила ее к себе в гости, для чего барскому скороходу пришлось проделать путь 60 верст в один конец. Бывали капризы и поизощреннее: в 70 верстах от Спасского жила Авдотья Ивановна Лагривая. К ней Андрея посылали периодически за горшочком гречневой каши: по мнению Варвары Петровны, спасение повара гречневую кашу готовить не умели...
В московском доме на Остоженке немой находился в должности дворника. Об этом периоде его жизни поведал Тургенев читателям в повести «Муму», назвав его Герасимом. Повесть эта во всем достоверна, за исключением концовки: Андрей действительно утопил бедную собачонку, но бросить госпожу и самовольно уйти в родную деревню не решился.
Поступки Варвары Петровны чем далее, тем более становились непредсказуемыми: по малейшему капризу любой крестьянин или дворовый человек мог быть облагодетельствован ею или низведен до ничтожества, все зависело от ее настроения. В произволе и кураже она доходила подчас до какой-то артистической изощренности. Тургенев вспоминал, что его матушка очень боялась холеры (этот страх сын от нее унаследовал). Однажды ей прочитали в газете, что холерная эпидемия распространяется по воздуху через болезнетворных микробов. Тотчас последовал приказ управляющему: «Устрой для меня что-нибудь такое, чтобы я, гуляя, могла видеть все окружающие меня предметы, но не глотала бы зараженного воздуха!» Долго ломали голову, но выход нашли: спасений столяр сделал носилки со стеклянным колпаком в форме киота, в котором носили чудотворные иконы по деревням. Барыня располагалась там в мягких креслах, а слуги носили ее по окрестностям Спасского. Варвара Петровна осталась довольна таким изобретением, столяр получил в награду золотой. Все шло хорошо, пока не произошел курьезный случай. Встретил однажды странную процессию благочестивый странник-мужик, принял носилки за киот, отвесил земной поклон и положил медный грош «на свечку». Последовал взрыв безудержного гнева; привели пред грозные очи госпожи несчастного столяра-изобретателя, всыпали изрядное количество плетей и сослали на поселение.
В другой раз Варвара Петровна наблюдала по обычаю за кормлением спасских птиц. Много ворон налетело, и казачок начал их отгонять. «Зачем?» — послышался грозный окрик. Казачок был парень не промах, не растерялся и заявил: «Вороны-то не наши, а господ Завадских». Ответ слуги так понравился барыне, что она тут же распорядилась выдать казачку вольную и отпустить на свободу.