Толстой считал воспитание процессом бесконечным и не оставлял без наставлений и советов уже выросших и повзрослевших, со сложившимися жизненными правилами и привычками детей; чем взрослее они становились, тем больше интересовали его — Толстой не жалел времени как на беседы, так и на переписку с ними. Споры, часто перетекавшие в ссоры, не останавливали и не смущали его. Много раз он срывался, слишком горячился, злился, гневался, обрывал с досадой разговор или брал не тот тон, актерствовал, не был искренен. Следовательно, не выдержал «экзамен», сплоховал — повод занести этот «грех» в дневник и постараться в следующий раз не провалиться. Воспитание у Толстого неотделимо от самовоспитания, от никогда не прекращающейся работы самосовершенствования. Слова отца могли задевать, обижать, больно ранить — на правах очень близкого родственника он позволял себе с детьми многое, особенно не церемонился и эмоций не скрывал — терпением Толстой не отличался, искусством иронии владел в совершенстве, но дети нуждались в слове отца и болезненнее всего переживали молчание. Сергей Львович, с которым Толстой спорил много и «придирался» к нему нещадно, измученный непривычно долгим молчанием отца, получив наконец от него письмо, признавался: «Я был очень обрадован и тронут твоим письмом. Меня всегда мучает твое молчание, и тогда мне кажется, что ты меня бесповоротно осуждаешь. А твое мнение, какое оно резкое ни было, мне всегда чрезвычайно дорого». Толстого тронуло письмо сына, может быть, более всего правдивостью. Сергей Львович был правдив и прямодушен, что Толстой, конечно, знал. Он беспокоил его гораздо меньше других сыновей, нуждавшихся в отцовских советах и наставлениях, то и дело своими импульсивными беспутными поступками огорчавших родителей. За старшего сына вполне можно было не беспокоиться, у него был сильный характер и минимум пороков, дурных привычек. Софья Андреевна любила всех своих сыновей больше дочерей, особенно «проблемных» — Льва и Андрея (они и были на ее стороне в год ухода Толстого из Ясной Поляны). Непутевые, больные и блудные дети особенно любимы.
Андрей Львович, пожалуй, никогда не был близок с отцом, а в последние годы тем более. К взглядам отца он относился критически, уже в тринадцать лет четко обозначив свою позицию: «Нельзя же делать всё, что говорит пап