Оставался последний шанс привязать мужа к семье. В 1816 году у Тургеневых появился на свет первенец — Николай, а затем в памятной книжке своей Варвара Петровна записала: «1818 года, 28 октября, в понедельник, родился сын Иван, роста 12 вершков, в Орле, в своем доме, в 12 часов утра». Однако с рождением третьего сына, Сергея, к несчастьям Варвары Петровны как нелюбимой жены добавились страдания материнские. У ребенка с раннего возраста начались припадки эпилепсии, он мучился и мучил окружающих вплоть до самой смерти в шестнадцатилетнем возрасте.
Какой-то рок витал над лутовиновской усадьбой и мстил за грехи отцов, дедов и прадедов. А во искупление этих грехов послал он в гнездо Лутовиновых странного, ни на кого из них не похожего ребенка. С раннего возраста очень беспокоил Варвару Петровну ее Ваничка. И добр, и ласков, и смышлен, но уж очень прост и правдив до бесхитростности: что на уме, то и на языке. Нанесла как-то в Спасское визит светлейшая княгиня Голенищева-Кутузова-Смоленская, почтенная дама в преклонном возрасте, внешности весьма экзотической. Подвели детей, представили. Николай и Сергей, как воспитанные мальчики, скромно приложились к ручке и отошли в сторону. А Ваничка уставился на княгиню широко открытыми глазами, остолбенел и вдруг заявил во всеуслышание: «Ты очень похожа на... обезьяну!»
Больно высекла своего любимца матушка за эту странную откровенность, но порка не произвела желаемого воздействия. Особенно настораживало Варвару Петровну в Ваничкиной правдивости отсутствие обычного в ребяческом возрасте упрямства. Не из упрямства, не назло он так делает — а по какому-то врожденному желанию, по какой-то неосознанной потребности быть искренним во всем. Недели не прошло, явился в дом Тургеневых баснописец, поэт Иван Иванович Дмитриев. Ваничка, как самый способный в семье мальчик, знал наизусть некоторые из его басен. По просьбе родителей он встал на середину залы и громко, выразительно прочел одну из них. Старый писатель растаял от умиления. А Ваничка подошел к Ивану Ивановичу, простодушно и доверчиво посмотрел ему в глаза и заявил: «Твои басни хороши, а Ивана Андреевича Крылова — гораздо лучше». «Мать так рассердилась, — рассказывал впоследствии Иван Сергеевич, — что высекла меня и этим закрепила во мне воспоминание о свидании и знакомстве, первом по времени, — с русским писателем».
Справедливости ради следует сказать, что родители заботились о воспитании мальчиков. В 1821 году Сергей Николаевич бросил военную службу и вышел в отставку в чине полковника. Тургеневы оставили Орел и перебрались на постоянное жительство в Спасское-Лутовиново. Когда Тургеневу было четыре года, семейство предприняло первое заграничное путешествие на собственных лошадях с фургоном. Путь лежал через Берлин, Дрезден, Карлсбад, Цюрих и Берн на Париж. У Тургенева от этого путешествия остались смутные воспоминания: застрял в памяти лишь один случай, едва не кончившийся для него трагически. В Берне посещали зоопарк и, в частности, знаменитую «яму», где жили медведи. Любознательный и впечатлительный мальчик так увлекся наблюдением за ними, что переполз через барьер и юркнул головой вниз, к ужасу публики. Спасла ребенка ловкость отца, успевшего схватить его за ногу.
В Париже Тургеневы жили полгода, посещали театры и музыкальные концерты, рассматривали живописные коллекции всемирно известного Лувра. При семействе находился целый штат слуг и даже свой домашний доктор Андрей Евстафьевич Берс, отец жены Л. Н. Толстого Софьи Андреевны. Во время путешествия Сергей Николаевич специально заезжал в Швейцарию, чтобы подыскать детям хороших гувернеров.
Уже в детском возрасте Тургенев свободно говорил на трех европейских языках и читал классиков немецкой, английской и французской литературы в оригинале. К этому времени совершилось в его жизни важное событие — открытие и освоение старой дедовской библиотеки. Тургенев сам рассказал об этом в одном из писем к студенческим друзьям М. А. Бакунину и А. П. Ефремову: