Судьба младшего брата Семена была иная: принятый девятилетним мальчиком в число пажей при дворе императрицы Елизаветы, он через несколько лет состоял уже ее камер-пажом. В то время как судьба судила его брату Александру изъездить юношею пол-Европы, Семен Романович почти в те же годы совершил продолжительную поездку по России, видел много губерний, заезжал на уральские заводы своего отца, а также и дяди-канцлера. Эта продолжительная поездка могла достаточно ознакомить впечатлительного, даровитого юношу с бытовыми условиями русской жизни. Долго спустя затем, живя в Англии и сравнивая порядки этой высококультурной страны с тогдашними условиями жизни дома, он, вероятно, вспоминал с тяжелым чувством о своей неустроенной и печальной родине. Отголоском тогдашних порядков на Руси могло бы служить письмо Семена Романовича к отцу, во время путешествия, из Тулы. В этом городе был воеводою Строев. “Он, – пишет сын отцу, – великое нашей фамилии бесславие наносит, ибо говорит, что наш ближайший родич грабил и разорял, но на него не жаловались, боялись, что вы и дядя Михаил Илларионович заступитесь...” По дороге мальчик заезжал ко многим родственникам и знакомым Воронцовых. Интересно его письмо о знакомстве с доктором графа Кирилла Разумовского. “Оным я чрезмерно одолжен, – пишет мальчик, – он так меня полюбил, что самые лучшие и нравоучительные книги мне уступил, между которых одна есть, которая во многих государствах запрещена... Титул ее: “Esprit des Lois[5] (Монтескье)”.
По возвращении из поездки Семена Воронцова его должны были из камер-пажей выпустить в офицеры гвардии. Пылкого молодого человека, с интересом следившего за борьбою покрывших себя славою русских войск с Фридрихом Великим, давно уже тянуло на военное поприще. И милость только что воцарившегося Петра Федоровича, пожаловавшего молодому Семену Воронцову придворное звание камер-юнкера, была последнему не совсем приятна. Он добился назначения поручиком в Преображенский полк. Император благоволил к юноше и, по горячей просьбе Воронцова, согласился послать его к знаменитому герою позднейших войн с Турциею графу Румянцеву, назначенному главнокомандующим в задуманную Петром III войну против Дании за обиды родной Голштинии, привязанность к которой никогда не оставляла государя. Воронцов собрался в Ораниенбаум к императору за окончательными инструкциями утром 28 июня 1762 года, когда вдруг узнал о происходящих в городе событиях. В последних принимал участие и пылкий 18-летний Воронцов, один из немногих офицеров Преображенского полка, пожелавший остаться верным Петру III, но его отвага не задержала рокового хода событий. После 11 дней ареста, за время которого молодому человеку пришлось пережить немало грубых сцен, Порошин, известный автор записок и бывший флигель-адъютант уже покойного императора, объявил арестанту, что государыня возвращает ему шпагу, приказывает отправляться домой и продолжать службу. Из этого факта мы видим, с какою мягкостью обошлись даже с Семеном Воронцовым, пытавшимся с оружием в руках противодействовать совершившемуся событию.
Порывистый и впечатлительный, Семен Воронцов не примирился сразу с наступившим порядком вещей, неохотно служил и даже думал вовсе бросить службу. Но у него была довольно сильная рука в лице еще не сошедшего с политической арены дяди-канцлера, который выхлопотал разрешение отправить молодого племянника в Вену, советником посольства к князю Голицыну. Семен Романович поспешил уехать из Петербурга, где, может быть, не совсем хорошо себя чувствовал перед государыней из-за прецедента в его недавнем поведении. Однако, пожив в Вене и сделав большое путешествие по Европе с канцлером, племянник вместе с дядею вернулся в 1765 году в Петербург.
Но мечтам молодого Воронцова о военной службе, о лаврах под русскими знаменами пока не суждено было осуществиться. Гордый еще недавним величием своей фамилии, Семен Романович не мог снести оказанной ему служебной несправедливости и вышел в отставку, уехав с дядею в Москву и потом в имение канцлера.
Графу Семену Воронцову пришлось быть свидетелем кончины дяди, которого племянник искренно любил и уважал. “Он смотрел на нас с братом, – говорит младший Воронцов в своих воспоминаниях про дядю, – как на сыновей, и мне суждено было горе – быть свидетелем кончины этого дяди, человека самой возвышенной души между современниками”.
Скромный канцлер, видевший в продолжение своей жизни много трагических и крупных событий, тихо почил 15 февраля 1767 года в Москве, где и похоронен в церкви Воздвиженья креста. Над его могилою поставлен мраморный памятник, и теперь только скромная надпись говорит, что под ним покоится человек, когда-то ворочавший государством.
Было еще одно обстоятельство, связывавшее племянника с дядею особенно нежными узами: последний был отцом женщины, к которой Семен Романович питал глубокую сердечную привязанность. Но этот роман так и остался платоническим: он не мог закончиться браком уже в силу одного того обстоятельства, что влюбленных связывали слишком близкие родственные узы.