Но, исполняя высокие государственные обязанности защитника интересов своего отечества, граф часто приходил в негодование от тех поручений, которые шли от фаворитов государыни. В особенности возмущал его Зубов. Этот зазнавшийся временщик, совершенно не зная ни нравов, ни строя “гордого” Альбиона, выдумывал многие нелепости и поручал исполнение их, под эгидою, конечно, императрицы, Семену Романовичу. Зубов, перед которым все преклонялось в России, в передней которого толпились власти и родовитые дворяне, считая за счастие, если их удостоит взглядом любимец “случая”, – воображал, что его имя будет достаточно импонировать англичанам и что они за него полезут “в огонь и в воду”. Зубов, между прочим, навязал Семену Романовичу миссию с графом д’Артуа, которому, по мнению временщика, англичане должны были помочь в его затруднительных обстоятельствах, между тем как эти англичане несомненно бы арестовали царственного эмигранта за его долги, если бы он сошел на английский берег. Но граф Воронцов предупредил этот скандал, и граф д’Артуа уехал “несолоно хлебавши”. Зубову передали, что неудачу принца нарочно подготовил Семен Романович и что эта миссия удалась бы, если бы посол захотел постараться. Так как и еще были случаи неисполнения желаний Зубова и так как всегда в этих случаях Воронцов считал себя правым, говорил с временщиком твердым тоном, то легко предположить, почему последний невзлюбил английского посланника. А это обстоятельство, – в связи с тем фактом, что Семен Романович позволял себе критиковать действия тогдашнего правительства, – достаточно объясняет холодность к нему Екатерины за последние годы ее царствования.
О том, что делалось на родине, Семен Романович узнавал точно, ведя громадную корреспонденцию во времена Екатерины и Павла I, от брата, Завадовского и Ростопчина. Эта корреспонденция имеет высокий исторический интерес и, конечно, со временем послужит богатым материалом для историков. В ней попадается масса бытовых черт, интересных характеристик и рассказов о грандиозных событиях того времени. Мелькают часто и чрезвычайно интимные черты, как, например, в письме Завадовского, относящемся, впрочем, до более раннего времени. Это послание состоит всего из нескольких строчек, но весьма многозначительно. “Порадуйся, мой любезный граф, – писал 2 января 1776 года Семену Романовичу Завадовский, весь сияющий от выпавшего на его долю счастия, – что на меня проглянуло небо и что уже со вчерашнего дня – генерал-адъютантом ваш друг”... То есть, попросту говоря, на долю графа Завадовского с этого времени выпал “случай”, продолжавшийся, впрочем, недолго.
Настал 1796 год. Семен Романович, видевший ясно холодное отношение к себе в Петербурге, – так как некоторые сношения с представителями Англии велись уже помимо графа, что, очевидно, происходило под влиянием Зубова, – подумывал выйти в отставку и покинуть Лондон. Но в Зимнем дворце 6 ноября этого года произошла драма: старая государыня, блестящее царствование которой омрачилось неудачею сватовства внучки за юношу шведского короля, – неудачею, усилившею болезнь “северной Семирамиды”, – лежала без движения, пораженная апоплексическим ударом. Все усилия возвратить ее к жизни были тщетны, и она скончалась. Около почившей толпились ее верные слуги, прожившие с нею десятки лет, ее возвышенные из ничтожества любимцы, с мрачными предчувствиями ожидавшие будущего. Толпа сановников и знати наполняла дворец. Всего ужаснее было положение Зубова: этот еще вчера всемогущий человек, в переднюю которого считали за счастие попасть люди, которые теперь сторонились от него, как от зачумленного, сидел бледный и растерянный. Он не мог добыть даже стакана воды от лакеев, и в этом случае помог ему уже Ростопчин, внезапно, с воцарением нового государя, выдвинувшийся на передний план и оставивший в высокой степени интересные записки о последнем дне Екатерины Великой... Все во дворце тяготились неведомыми, тяжелыми предчувствиями, в воздухе нависла гроза. Гатчинские друзья государя – Аракчеев, Кутайсов, Плещеев, Куракин – являлись на смену прежним деятелям.
На судьбе Воронцовых не замедлили отразиться новые события. Княгиня Дашкова, которой Павел I терпеть не мог за ее нрав, была выслана в село Горетово; положение Александра Романовича, приютившего уволенного Лафермьера, было сначала тоже незавидным, хотя оно скоро поправилось, благодаря тому, что Безбородко, приятель старшего Воронцова, возымел большое влияние на дела и, как известно, был осыпан неожиданно для многих милостями государя. Впрочем, все действия императора Павла I носили неожиданный и внезапный характер, и даже его любимцы должны были хорошо помнить, что от Капитолия недалеко и до Тарпейской скалы. Но в отношении графа Семена Романовича на первое время дело обстояло благополучно.