П. А. Толстой владел многочисленными имениями, которых лишился при опале. Только незначительная часть их была возвращена его потомкам. Не обладая с тех пор очень крупными состояниями, Толстые принадлежали к среднему помещичьему классу. Многие из представителей рода были близки ко двору.
От брака со Степанидой Тимофеевной Дубровской П. А. имел сыновей Ивана (f 1728) и Петра (†1728), от которых пошли две ветви графов Толстых, причем старшая более многочисленна и талантлива, чем младшая. Иван Петрович от брака с П. М. Ртищевой (по другим сведениям – с княжной Троекуровой) имел 5 сыновей и 5 дочерей. Все сыновья имели потомство, но для нас представляет интерес только потомство второго сына – Андрея и четвертого – Федора, потому что о потомстве остальных сыновей мы имеем мало данных для характеристики. Из дочерей Ивана Петровича Прасковья – жена кн. Ив. Вас. Одоевского, прабабка вышеупомянутых князей А. И. и В. Ф. Одоевских, а Мария (1720–1793) – жена Петра Вас. Чаадаева, бабка П. Я. Чаадаева.
Об Андрее Ивановиче (1721–1803) известно только, что он, по-видимому, отличался большой сентиментальностью: Л. Н. Толстой рассказывает, что А. И. плакал однажды, когда его жена уехала из дому, забыв проститься с ним. Судя по надгробной надписи, он был человек религиозный: «От чрева матери к Тебе привержен был, о Боже мой, Тебе, сколько мог, служил». А. И., умерший в возрасте 82 лет, имел от брака с кн. Ал. Ив. Щетининой в течение 25 лет 23 детей, из коих зрелого возраста достигли 6 сыновей и 5 дочерей. Старший сын, Петр Андреевич (1746–1822), генерал кригс-комиссар, отличался по семейному преданию высокой нравственностью и непоколебимой честностью, казавшейся современникам преувеличенной. Подобно своему отцу, он женился очень молодым на Елиз. Егор. Барбот-де-Марни (1750–1809), родом немке, но, как показывает фамилия, – французского происхождения, и имел от нее 13 детей, из которых зрелого возраста достигли 5 сыновей и 2 дочери. Е. Е. была, по словам ее внучки, замечательная женщина: светлый ум и доброта соединялись в ней с серьезным образованием и талантливостью, выражавшейся в том, что она была замечательная рукодельница – плела шляпы, вышивала шелком на тонком батисте пейзажи, как бы рисованные тушью или акварелью, делала игрушки. Потомство П. А. и Е. Е. обладало художественными талантами, по всей вероятности унаследованными от матери. «Бабушка, – говорит одна из внучек Е. Е. (М. Ф. Каменская), – была художница в душе, и ее только влиянию надо приписать то диво, что в те времена в графской семье мог развиться такой художник, как мой отец (т. е. Федор Петрович)». Старшая дочь Вера (1776–1798), по мужу Шишкова, прекрасно рисовала, обладала литературным талантом, как показывают ее письма, играла на фортепиано, пела, сочиняла романсы; вторая дочь Надежда (1784–1867) была, подобно матери, большой рукодельницей. Старший сын Александр (1777–1819), в молодости гвардейский офицер, был известен своими шалостями, которые он позволял себе даже с Павлом I; второй сын, Владимир (†1824) – по показанию племянницы, «немножко рифмоплет», «великий дамский угодник, как все Толстые». Третий сын Константин (1780–1870) известен как отец поэта Алексея Константиновича (1817–1875). Человек слабохарактерный, мягкосердечный, религиозный, он 36 лет женился на 20-летней Анне Алексеевне Перовской (1796–1857) и вскоре по рождении сына был покинут женой; умер в глубокой старости.