Раннее детство Александра и Семена Романовичей прошло при не совсем благоприятных условиях: они рано лишились матери, и на их детские годы выпало немного теплых материнских ласк, заставляющих с такою отрадою вспоминать эту золотую пору жизни. Отец, оставшись молодым вдовцом, вел веселую жизнь и мало обращал внимания на детей, добрая половина которых и не жила с ним: две старшие дочери, как фрейлины, находились с детства во дворце; будущая княгиня Дашкова, как мы уже знаем, жила у дяди-канцлера.
Кроме того, граф Роман Илларионович прижил с англичанкою Брокет много детей, известных впоследствии под именем дворян Ронцовых. К последним родитель питал особенную нежность и тратил немало средств на них, что, конечно, еще более неприятно было сиротам Воронцовым, рано лишившимся матери. Влияние отца на детей и с нравственной стороны не могло быть особенно благотворным: Роман Илларионович даже в тогдашнем обществе пользовался репутацией человека далеко не бескорыстного и был известен как “Роман – большой карман”. Впоследствии, когда он был наместником Владимирским, Екатерина II, зная про его мздоимства, прислала ему в день ангела длинный пустой кошелек. Этот двусмысленный знак монаршей милости, говорят, был одною из причин, ускоривших смерть сановника. Кроме этих черт отца интересующих нас деятелей, нужно еще упомянуть о его жесткости, суровости и взыскательности к детям, боявшимся его как огня. Указанием на эти свойства Романа Илларионовича может служить частью и то обстоятельство, что ему, при воцарении Елизаветы, был поручен надзор за препровождавшейся в Ригу опальной Брауншвейгской фамилией.
Из чрезвычайно интересных по своим бытовым подробностям писем Семена Романовича к отцу, помещенных в “Воронцовском архиве”, видно, какие отношения были у родителя к детям. Письма сына наполнены рабскими: “всеподданнейше Вам доношу”, “всенижайший раб Ваш” и др.
В письмах отца к Александру Романовичу постоянно встречаются упреки и угрозы за большие расходы, хотя, по всем данным, сын ничем особенным не провинился перед родителем в этом грехе. “Невоздержным житьем, – пишет отец сыну, учившемуся во Франции, – понудишь меня вскоре отозвать тебя, да и в отечестве фигуры не сделаешь”. Затем в другом письме: “Расточительная твоя поступка мне тягостна...” Дальше следуют укоры за то, что сын неразборчиво пишет (хотя этот упрек до известной степени справедлив): “Хотя штиль хорош, да так написано, что никто прочесть не может!”
Часто Роман Илларионович в своих письмах к сыновьям напоминает, чтоб они не забывали писать фавориту Шувалову. Вообще письма отца к детям суровы, наставительны, придирчивы, хотя в некоторых попадаются советы, внушенные желанием, чтоб сыновья не ударили “лицом в грязь”.
Когда Роман Илларионович узнал, что его сын Александр собирается писать Вольтеру, с которым тот недавно познакомился, он пишет молодому Воронцову: “Рассуди, когда будешь писать Вольтеру: он постыдится отвечать такому человеку, который литеры писать не умеет”. Для полной характеристики графа Романа Воронцова мы должны добавить, что он нежнее всех относился к дочери Елизавете и что был человек необразованный; почему-то, между прочим, он чувствовал панический страх перед электрическою машиною – вероятно, это было после случая с приятелем Ломоносова, профессором Рихманом, как известно, убитым электрическою искрою.
Из набросанного выше портрета Романа Илларионовича видно, как невыгодно было обставлено детство будущих крупных государственных деятелей. И в этом случае немало принес им пользы дом дяди, где они встречали и ласку со стороны Михаила Илларионовича и его доброй жены Анны Карловны, и любовь к чтению книг и просвещению. Этот же дом, как мы уже знаем, служил для них практическою школою знакомства с государственными делами.
Если мальчикам жилось угрюмо в родительском доме, зато весело было у дяди и при дворе Елизаветы, где непрерывною вереницей тянулись праздники, пиры и маскарады. В интересной автобиографической записке графа Александра Романовича Воронцова много говорится про патриархальное веселье, царившее часто во дворце Елизаветы. Эта действительно мягкосердечная государыня собирала у себя толпы детей близких ко дворцу лиц и сама веселилась с ними. Она позволяла им бывать во дворце и в приемные дни, вместе со взрослыми, а иногда, только специально для детей, давала обеды и балы в своих внутренних апартаментах. Такая близость с самого детства к большому свету выработала в братьях Воронцовых привычку свободно держаться в обществе, сообщив им благородные и изящные манеры.
Братья Воронцовы получили дома тогдашнее “французское” воспитание, то есть, кроме сносного знания языков, усвоили себе кое-что из математики, географии и истории.