Жизнь в Венеции была дорогая, денег не хватало, а тут еще и неблагоприятный климат и болезнь жены. Все это заставляло Воронцова писать письма в Петербург с прошениями отозвать его из Италии. Из Лондона и Парижа он выбрал первый – ведь послом там был (в 1762–1763 годах) его старший брат Александр, оставивший полезные знакомства и связи. Поэтому Воронцовы с радостью узнали о предстоящем переводе графа Семена Романовича посланником в Англию и начали готовиться к переезду в Лондон. Но болезнь Екатерины Алексеевны, к сожалению, быстро прогрессировала, и в июне 1784 года ее положение было очень серьезным. Почувствовав облегчение, однако временное, и думая, что опасность миновала, она говорила мужу со слезами на глазах: «По правде говоря, мой дорогой Сенюша, Бог был бы слишком жесток, если бы нас разлучил». Но улучшение прошло и вместо того чтобы ехать в Лондон, Воронцовы поселились в Пизе, в надежде, что более мягкий, чем в Венеции, климат принесет пользу Екатерине Алексеевне, но все меры оказались напрасными. Эра антибиотиков еще не наступила, и все надежды возлагались на климат и усиленное питание.
И 25 августа 1784 года графиня Воронцова скончалась. Осиротели ее дети, осиротел и Семен Воронцов. Письма ее мужа, где он описывал свое горе, полны глубокого драматизма и душевного надрыва.
После похорон Воронцов писал своему брату Александру отчаянные, полные горечи и безраздельной скорби, письма, вот одно из них, от 5 сентября 1784 года из Падуи: «Вы уже знаете о моем горе, но Вы не можете даже представить, до какой степени я несчастен. Я был так счастлив, что завидовал сам себе. Сегодня мое существование ужасно. Три года безоблачного счастья прошли как один миг, и теперь моя будущая жизнь будет вечным страданием. Меня постигла судьба графа Г. Г. Орлова. Замечательная женщина, лучший друг, бесподобный характер, все это я потерял с моим ангелом Катериной Алексеевной! Сегодня одиннадцатый день моего ада. Уверен, что Бог позаботится о бедном Алексее Наумовиче и о его красавицах дочерях. Я умоляю Вас любовью, которая есть у Вас ко мне, чтобы Вы помогли этим бедным сиротам… Я уеду отсюда, как только у меня будут силы, и вернусь в Пизу, чтобы закончить свои дела. В настоящее время я не в состоянии ничего делать. Теперь все прошлые несчастья ничто по сравнению с тем, что произошло…»
Тело графини Воронцовой было положено в свинцовый гроб и предано земле в Венеции, в Греческой церкви Св. Георгия, у левого клироса. Заветной мечтой графа Воронцова было перевезти ее прах в Россию и похоронить в Мурино, в церкви Святой Великомученицы Екатерины, построенной в после кончины графини в 1786 году по проекту архитектора Н. А. Львова, и самому быть схороненным рядом с ней. Однако этой его воле не суждено было осуществиться: он скончался и похоронен был в Англии. Но на месте последнего упокоения графини Екатерины Алексеевны, в Венеции, Воронцов положил капитал на вечное проведение ежегодной панихиды в день ее смерти.
От этой потери он сам тяжело заболел и долго не мог оправиться, страдания его были ужасны и только мысли и заботы о малютках детях отвлекали его от самых черных мыслей. Воронцов так и остался вдовцом и сам воспитывал детей.
Только 27 мая (7 июня) 1785 года он прибыл в Лондон, где ему предстояло провести 47 лет – все оставшиеся годы жизни. Вместе с ним были и его дети – трехлетний Михаил и полуторагодовалая Екатерина.