Второй сын Степана Федоровича, Степан, отличавшийся бешеным характером, будучи офицером, дал своему начальнику пощечину в ответ на замечание и для избавления от наказания был объявлен сумасшедшим, впоследствии же под влиянием этого события действительно сошел с ума и прожил в умопомешательстве около 50 лет. Третий сын, Федор, был очень сварливого характера. Четвертый, Михаил, был очень красив собой, как и шестой сын, Александр, обладавший, кроме того, ласковым характером. Из шести детей Александра Степановича средний сын, Дмитрий, был слабоумен от рождения, а старшая дочь, Варвара Алекс. Потемкит (1815–1881), – по свидетельству двоюродного брата, М. В. Толстого, – «первая в Москве красавица». Седьмой сын Степана Федоровича, Андрей (†1830 г., 37 лет), отличался склонностью к шалостям и проказам. От брака со своей троюродной племянницей Прасковьей Дмитриевной Павловой (†1849), происходившей также от Толстых, он имел сына Дмитрия (1823–1889), известного государственного деятеля, синодального обер-прокурора, министра народного просвещения при Александре II и внутренних дел при Александре III, президента Академии Наук, историка, автора «Истории финансовых учреждений России» (1848), «Le Catholicisme romain en Russie» и ряда статей no истории просвещения в России. Дочь Дмитрия Андреевича, гр. София Дм. Толь (р. 1854) – автор quasi-исторических трудов: «Масонское дерево. Исторический очерк о заговоре декабристов», СПб., 1910 и «Ночные братья. Опыт исторического исследования о масонстве в Германии», СПб., 1912. Праск. Дм. Толстая была во 2-м браке за А. Я. Венкстерн; сын ее от этого брака Алексей Алексеевич Венкстерн (1855–1909) – шекспирист, а дочь Александра Алексеевна – беллетристка, писавшая под псевдонимом Стерн (†1920 г.).
Девятый сын Степана Федоровича, Петр (1798–1862), был ленив, беспечен и суеверен. Наружность его описывается так: невысокого роста, худощавый брюнет с продолговатым лицом, длинным носом и черными глазами под густыми толстовскими бровями. Он страдал нервными подергиваниями лица, рук, и ног. В семье это был деспот, державший в повиновении детей и жену, Елизавету Васильевну, рожд. Ильину (†1885), женщину капризную, эгоистичную, деспотичную с другими, но трепетавшую перед мужем. В отличие от большинства Толстых семья была не религиозная. Старший из их четырех сыновей, Василий, под гнетом отца запил, второй, Николай (1819–1887), – слабоумный вообще, сошел затем с ума и прожил 40 лет в лечебнице для умалишенных, третий – Александр (1821–1867), по отзыву племянницы, – «чудной души человек, строгой жизни, безупречный: умер от постепенного поражения спинного мозга». Единственная дочь Прасковья Петровна (1822–1867), по словам дочери отличавшаяся умом, красотой и способностями, обладавшая чудным голосом, пережила в юности несчастную любовь к известному драматургу Сухово-Кобылину, неудачно вышла замуж за кн. Г. Н. Вяземского и вскоре сошла с ума (дочь подробно описывает ее болезнь). Ее дочь Мария Григорьевна Назимова – автор «Из семейной хроники Толстых» («Историч. вестн.», 1902 г.). У Александра Петровича сын Николай (1849–1900), женатый на Александре Леонтьевне Тургеневой (родственнице декабриста), писательнице, матери современного писателя Алексея Николаевича Толстого. – Из дочерей Степана Федоровича старшая, гр. Елизавета Салтыкова, была умна, прекрасного характера и могла бы быть красива, если бы не толстый нос, младшая, Мария (1792–1874), по мужу Толстая, отличалась долголетием, а средняя, Аграфена (1788–1845), умная, хитрая, всецело подчинившая мать, которую ссорила с остальными детьми, страдала нервным расстройством.