Мнений своих и оценок Толстой не навязывал в строгой, императивной, категоричной манере, но с поразительным упорством и последовательностью их излагал, повторял, пропагандировал, оказывая сильное давление, невольно вызывавшее сопротивление. Сергей Львович, почти не принимавший участия в семейной борьбе последних лет, ровно относившийся к отцу и матери и вообще не выказывавший никаких предпочтений, тем не менее писал о двух сторонах \медали: «Мы не только любили его; он занимал очень большое место в нашей жизни; и мы чувствовали, что он подавляет наши личности, так что иной раз хотелось вырваться из-под этого давления. В детстве это было бессознательное чувство, позднее оно стало сознательным, и тогда у меня и у моих братьев явился некоторый дух противоречия по отношению к отцу». Всё чаще и чаще раздавался ропот, который вызывал раздражение отца, не приветствовавшего многоголосие в семье. Он резко, насмешливо осуждал желание сына Сергея поступить на физико-математический факультет Московского университета, понося естественные науки и позитивизм. А когда по окончании института Сергей обратился к отцу за советом, чем ему лучше заняться, то получил обидевший и отдаливший от мировоззрения отца ответ: «Дела нечего искать, полезных дел на свете сколько угодно. Мести улицу — также полезное дело».
Сергей Львович был замкнут, сдержан и застенчив. Сестры его любили за благородство, честность, независимость и доброту. Младшая сестра Александра писала о нем с любовью и состраданием: «Он был самый серьезный и трудолюбивый из всех братьев Толстых, жил своей обособленной жизнью, не примыкая ни к матери, ни к отцу, редко делился своими мыслями с семейными, тая всё в себе, и только когда Сергей садился за фортепьяно и часами играл своих любимых Шопена, Бетховена, Баха, Грига и пытался что-то сам сочинять, все невольно заслушивались… только роялю одному Сергей открывал свою душу: в звуках то бурно-страстных, то нежно-певучих чувствовались и грусть, и внутренняя борьба этого некрасивого, замкнутого в себе юноши». Самый строгий и надежный из всех сыновей Толстого, которого, по мнению Татьяны Львовны, он не оценил по заслугам.
Толстой смотрел на детей как на различные отражения своего облика, и очень часто эти отражения ему не нравились, временами он даже с отвращением гляделся в безжалостные, равнодушно правдивые зеркала. Он не отделял и не мог отделить детей от себя. Нес ответственность за всё — и за благородные порывы, и за «нравственную тупость». Они были его детьми, его произведениями, его грехами, его добродетелями и пороками. «Мои дети, мое произведение со всех сторон, с плотской и духовной. Я их сделал, какими они есть. Это мои грехи — всегда передо мной. И мне уходить от них некуда и нельзя. Надо их просвещать, а я этого не умею, я сам плох. — Я часто говорил себе: если бы не жена, дети, я бы жил святой жизнью, я упрекал их в том, что они мешают мне, а ведь они — моя цель, как говорят мужики. Во многом мы поступаем так: наделаем худого; худое это стоит перед нами, мешает нам, а мы говорим себе, что я хорош, я бы всё сделал хорошо, да вот передо мной помеха. А помеха-то я сам».