В сентябре граф и графиня Воронцовы отправились на родину. Елизавета Ксаверьевна станет подлинным другом и помощником своего мужа. Ее благотворительная деятельность останется в памяти многих людей. Молодой семье придется перенести удары судьбы, самые тяжелые из которых – смерть детей и близких. Но не менее страшными окажутся людская зависть и ненависть. Злые сплетники причинили ей немало тревог и горя. Тема отношений этой пары и сейчас не дает покоя очень многим. Как говорят мудрецы, страсть – это когда двое смотрят друг на друга; любовь – когда двое смотрят на Бога. Господь помог Елизавете Ксаверьевне и Михаилу Семеновичу почти сорок лет быть вместе.
В письме П.И. Полетики из Вашингтона 20 июля 1819 года к Семену Романовичу Воронцову автор сообщает, что брачный союз его сына весьма благоприятно встречен в светском обществе [21]. Лучшая награда для отца – увидеть свое продолжение в сыне.
В 1823 году М.С. Воронцов назначен генерал-губернатором Новороссийского края и наместником Бессарабской области. Оставаясь самым авторитетным и лучшим советником для сына, Семен Романович отговаривает его сделать свою официальную резиденцию в Крыму, так как «это не географический центр подвластных вам территорий, и я думаю, что это место совершенно необходимо привести в порядок: ведь оно было в невообразимом запустении уже 50 лет спустя, я не скажу завоевания, но ловкого приобретения Крыма. Беспорядки, пренебрежения и несправедливости во времена Екатерины и Павла разрушили эту несчастную страну, и бедные татары были вынуждены, вследствие причиненных им обид, покинуть свою родную страну, а только они могли бы сделать ее цветущей» [22]. Официальной резиденцией М.С. Воронцова становится Одесса, хотя до этого планировался Херсон.
Оставив дипломатическую службу, Семен Романович Воронцов, как уже говорилось ранее, поселился на улице
Одна из соотечественниц Воронцова записала со слов дочерей посольского священника Смирнова и причетника Квитницкого, что, «живя постоянно за границей, имея мало сообщения с земляками, граф Воронцов остался верен всем установлениям своей церкви и обычаям родины, делал у себя обеды и даже банкетные столы, а сам соблюдал посты: ему подавали грибной суп, кашу, всю нашу постную стряпню… После отставки своей он нарочно поселился в улице, ближайшей к русской церкви, чтобы чаще бывать там. Камердинер у него и многие другие слуги были русские. Он любил чистоту до утонченности и в субботу всегда приказывал камердинеру чистенько вымыть для него поболее серебряных монет
До конца своего земного пути С.Р. Воронцов не прекращал умственных занятий. «В самые последние дни жизни почти девяностолетний старец, не желая беспокоить прислугу, отправился ночью со свечою в свою библиотеку, находившуюся в другом ярусе его дома, оступился и упал на лестнице <…>. Кончина его была умилительно-прекрасна» [25].