С воцарением Павла Воронцов был повышен в звание чрезвычайного и полномочного посла в Лондоне, а в 1797 году возведен в графское достоинство Российской империи и одарен населенными имениями в Финляндии. Даже самовольная задержка в Англии русской эскадры и отказ от предложенных ему званий вице-канцлера и канцлера, не изменили к нему милостивого отношения Павла I. Только натянутые отношения с Англией и политическое сближение с Францией привели Павла I к мысли о непригодности Семена Романовича в качестве посла в Англии. В 1800 году ему была дана отставка с дозволением остаться в Лондоне.
В феврале следующего года имения Воронцова, «за недоплату казне денег лондонскими банкирами и за пребывание его в Англии», были объявлены конфискованными без всякого расследования и суда. Но в следующем же месяце распоряжение это было отменено императором Александром I и Воронцов вновь назначен послом в Лондоне. Через пять лет усложнившиеся политические события, слабость здоровья и семейные невзгоды, особенно смерть брата Александра, заставили Семена Романовича просить окончательной отставки, которая и была ему дана в 1806 году.
Тогда же Воронцов покинул службу, проведя на посту посла более двадцати лет. Но принял решение остаться в Англии, которая стала для него вторым домом, и до своей кончины, последовавшей в 1832 году, не переставая время от времени, в письмах к друзьям и родным, высказывать свои мнения по поводу внешних и внутренних событий России. Кроме «Записок о русском войске» и многочисленных писем, имеющих большое историческое значение, Семеном Романовичем составлена автобиография (1796–97) и «Записка о внутреннем управлении России» (1802), свидетельствующие о твердой гражданской позиции, высоком понимании долга и чести.
Сына Михаила отец воспитывал сам, сам же составлял программы обучения, нанимая лучших учителей. Проведший молодость вдали от России, Михаил тем не менее свободно говорил по-русски, прекрасно знал английский и французский, греческий и латынь. Он изучал математику, архитектуру, естественные науки, вместе с отцом присутствовал на заседаниях парламента, знакомился с работой контор и промышленных предприятий.
Но несмотря на все это, Михаил готовился к военной службе. Отец не хотел отдавать его в Итон, одну из самых лучших школ, где карьера военного не приветствовалась. Как говорил знаменитый полководец герцог Веллингтон, учившийся там, «мы не военная нация, сама по себе служба в армии чужда нашим привычкам». Но в России-то военная служба считалась не только самой почетной, но и единственным стоящим делом для молодых дворян.
Михаил Воронцов в возрасте 17 лет впервые отправился в Россию, напутствуемый такими словами отца: «Страна, куда ты едешь, ничем не походит на Англию. Хотя новое царствование (Александра I. –
Друг Воронцова граф П. В. Завадовский писал из России о Михаиле: «Не могу изобразить того, скольким чувствам зрю в нем образ и душу твою: капля с каплей не больше имеют сходства, как он в твоей молодости. Чем больше познаю его, больше удостоверяюсь в том, что ты отец пресчастливейший».