После свадьбы, состоявшейся 18 августа 1780 года в Мурино, молодые зажили счастливо. Проведя медовый месяц в имении, Воронцовы вернулись в Петербург, где в мае 1782 года у них родился сын Михаил, крестником которого пожелала стать сама императрица, а в следующем году дочь Екатерина. Графиня Екатерина Алексеевна сама кормила детей, что было неслыханным в то время, «совсем как дворовая девка». Это ставилось ее родными в пример другим, зато, поглощенная уходом за детьми, она пренебрегала собственным здоровьем. Граф Семен Романович писал отцу: «Жена моя, по своей горячности к сыну, все ночи не спит, я опасаюсь, чтоб и она не занемогла, как во время оспы Мишинкиной… Разлуку с сыном она никак не выдержит, ибо с той поры, что его имеет, на час с ним разлучиться не может, никуда для того не ездит, а когда бывает у родных, то его с кормилицей и нянькой с собой таскает; держит его подле себя, и как его горница от нашей через один только покой, то ночью встает неоднократно, чтоб его видеть. Одним словом, сей ребенок делает все ее счастье и всю утеху…»
Назначенный в конце 1783 года на вновь учрежденное место посланником в Венецию, граф Семен Романович уехал с женою и детьми в Италию. Обстановка, в которой пришлось им жить по приезде в Венецию, и полное отсутствие комфорта не могли не отозваться пагубно на слабом здоровье графини: здесь она почувствовала первые приступы рокового недуга – чахотки. Они поселились в доме, имевшим «только одни стены, без двойных рам в окнах и труб в комнатах», зимой 1783–1784 года стояли «страшные холода» – «так что каналы замерзали».