Когда скончался Петр I, граф Толстой активно содействовал избранию на царство Екатерины I. В следующем, 1726 году он стал инициатором создания Верховного тайного совета и вступил в борьбу против чрезмерного возвышения А.Д. Меншикова. Но потерпел поражение. Он и его единомышленники были арестованы. Процесс по делу длился всего три дня – Меншиков очень торопился, так как Екатерина была смертельно больна. Указ от ее имени вышел в день ее смерти – 6 мая 1727 года. Согласно указу, Толстой был лишен чести, чина и имущества и сослан на Соловки. Туда же был отправлен и его сын Иван. Условия жизни в тюрьме Соловецкого монастыря были ужасными. Камеры были настолько сырыми, что одежда на узниках через год сгнивала. В тюрьме Петр Андреевич провел полтора года и только на несколько месяцев пережил своего сына. Петр Андреевич скончался в январе 1729 года в возрасте 84 лет. Он был погребен в монастыре, внутри ограды перед Преображенским собором.
Его старший сын Иван, погибший вместе с отцом на Соловках, был женат на княжне Прасковье Ивановне Троекуровой. В 1742 году ей были возвращены имения тестя, отписанные в казну. Она воспитывала пятерых сыновей – Василия, Андрея, Бориса, Федора и Петра, которым по указу от 26 мая 1760 года был возвращен и графский титул.
Андрей Иванович Толстой, родившийся в 1721 году, стал суздальским воеводой и от провинциального дворянства был избран депутатом в Екатерининскую комиссию по составлению уложения. Его сын Илья Андреевич был одним из богатейших помещиков, но, живя широко, быстро растратил состояние. В 1815 году он был назначен губернатором Казани, и на этом посту совершил крупные злоупотребления, что и было раскрыто сенаторской ревизией. Он был отстранен от должности в 1820 году и в тот же год скончался. От брака с Пелагеей Николаевной Горчаковой имел двоих сыновей (Николая и Илью) и двух дочерей.
Николай Ильич Толстой начал военную службу в годы Отечественной войны 1812 года. В 15 лет (в июне 1812 года) он был зачислен корнетом в Иркутский гусарский полк. За отличия в боях он награждался чинами и орденами. В годы войны попал в плен и был освобожден при взятии русскими войсками Парижа. Службу он закончил в 1815 году, выйдя в отставку в звании подполковника. Женившись на Марии Николаевне Волконской, Николай Ильич до конца своих дней проживал в Ясной Поляне – в родовом имении жены. Брак дал супругам троих сыновей и дочь. Младшим сыном был Лев Николаевич Толстой – знаменитый писатель, достигший еще небывалой в истории литературы славы.
Он родился 9 сентября 1828 года в Ясной Поляне, которая располагалась в Крапивенском уезде Тульской губернии (в 15 верстах от Тулы). Льву Николаевичу не было и двух лет, когда умерла его мать. Воспитанием осиротевших детей занялась дальняя родственница Т.А. Ергольская. О матери он знал в основном по рассказам других людей, и память о ней оставил в автобиографическом «Детстве», где она стала прототипом матери Иртеньева.
В 1837 году семья переехала в Москву, потому что старшему сыну надо было готовиться к поступлению в университет. Но вскоре внезапно умирает и отец, оставив дела в довольно расстроенном состоянии, и трое младших детей снова поселились в Ясной Поляне, под наблюдением Т.А. Ергольской и тетки по отцу, графини А.М. Остен-Сакен.
В Ясной Поляне дети оставались до 1840 года, а затем переехали в Казань к новой опекунше – сестре отца П.И. Юшковой. Дом Юшковых был типично светским, хотя и провинциальным, и принадлежал к числу самых веселых в Казани. Здесь у Льва Николаевича поистине стали складываться те черты характера, которые отличали его всю остальную жизнь. Он хотел блистать в обществе, но природная застенчивость и внешние данные не позволяли ему добиться этого. Его натуру отличали огромное самолюбие и желание достигнуть чего-то настоящего. Вместе с тем в нем шла напряженная внутренняя борьба и выработка строгого нравственного идеала. Вся дальнейшая жизнь Толстого представляет собой мучительную борьбу с противоречиями жизни.
Пройдя курс домашнего обучения, Лев Николаевич в возрасте 15 лет стал студентом Казанского университета сначала восточного, а затем юридического факультета, по два года на каждом. В университете он только числился, продолжая вести светский образ жизни. И все-таки в 1847 году он оставил университет и вернулся в Ясную Поляну, бросив учебу еще до наступления переходных экзаменов на 3-й курс юридического факультета.