В конце 1833 года Елизавета Ксаверьевна в связи с изданием в Одессе с благотворительными целями литературного альманаха обратилась к Пушкину с просьбой прислать что-нибудь для публикации. Поэт отправил ей несколько сцен из трагедии и письмо от 5 марта 1834 года: «Графиня, вот несколько сцен из трагедии, которую я имел намерение написать. Я хотел положить к вашим ногам что-либо менее несовершенное; к несчастью, я уже распорядился всеми моими рукописями, но предпочел провиниться перед публикой, чем ослушаться ваших приказаний. Осмелюсь ли, графиня, сказать вам о том мгновении счастья, которое я испытал, получив ваше письмо, при одной мысли, что вы не совсем забыли самого преданного из ваших рабов? Остаюсь с уважением, графиня, вашим нижайшим и покорнейшим слугой. Александр Пушкин».
Других писем Воронцовой к Пушкину не сохранилось.
При отъезде Пушкина из Одессы 1 августа 1824 года, Воронцова на прощание подарила ему перстень. (Храни меня, мой талисман…) Биограф поэта – П. И. Бертенев, знавший Воронцову лично, писал, что она сохранила до старости теплые воспоминания о Пушкине и ежедневно читала его сочинения. С ним соединялись для нее воспоминания молодости.
А вот Роман Раевского с Елизаветой Ксаверьевной имел довольно длительное продолжение. После отъезда Пушкина из Одессы отношение Михаила Воронцова к Александру Раевскому некоторое время оставалось доброжелательным. Раевский часто гостил в Белой Церкви, где бывала с детьми и Воронцова. Об их связи было известно, не мог не догадываться об этом и граф Воронцов.
Как мы видели, Раевскому удалось на время отводить от себя его подозрения с помощью Пушкина. Возможно, именно Александр Раевский и был отцом дочери Елизаветы Ксаверьевны. Во всяком случае, граф Воронцов знал, что маленькая Софья не его ребенок. В своих памятных записках, написанных им на французском языке для своей сестры, Воронцов перечисляет все даты рождения детей, только о рождении Софьи в 1825 году в записках нет ни слова.
В начале 1826 года Раевский был арестован в Белой Церкви по подозрению к причастности к заговору декабристов, но вскоре был освобожден с извинениями и осенью вернулся в Одессу, чтобы быть рядом с любимой. Но Елизавета Ксаверьевна удалила его от себя. В начале 1827 года Воронцовы уехали в Англию, чтобы поправить здоровье Михаила Семеновича.
В начале 1828 года они вернулись в Одессу, Елизавета Ксаверьена продолжала избегать Раевского. Раевский стал вести себя недопустимо и позволять себе поступки, явно неприличные.
В июне 1828 года разразился громкий скандал. В это время Воронцовы принимали в Одессе императора Николая I с женой. Гости жили в роскошном дворце Воронцовых на Приморском бульваре. В один из дней Елизавета Ксаверьевна направлялась к императрице Александре Федоровне со своей дачи. По пути карету Воронцовой остановил Александр Раевский, держа в руке хлыст, и стал говорить ей дерзости, а потом крикнул ей: «Заботьтесь хорошенько о наших детях… (или)… о нашей дочери».
Трехлетную Софью Раевский считал своим ребенком. Скандал получился невероятный. Граф Воронцов снова вышел из себя и под влиянием гнева решился на шаг, совершенно неслыханный; он, генерал-губернатор Новороссии – в качестве частного лица – подал одесскому полицмейстеру жалобу на Раевского, не дающего прохода его жене. Но Воронцов скоро опомнился. Сообразив, что официальная жалоба может сделать его смешным, он прибегнул к другому средству, через три недели из Петербурга было получено высочайшее повеление о немедленной высылке Раевского в Полтаву за разговоры против правительства. Так Раевский навсегда расстался с Воронцовой.
История с Раевским еще долго обсуждалась в московском и петербургском свете. В декабре 1828 года А. Я. Булгаков писал брату: «Жена моя вчера была у Щербининой, которая сказывала, что Воронцов убит известной тебе историей графини, что он все хранит в себе ради отца и старухи Браницкой, но что счастие его семейственное потеряно. Меня это чрезмерно огорчает… Я не хочу еще верить этому… Кто более Воронцова достоин быть счастливым?… Но эта заноза для души чувствительной, какова Воронцова, ужасна!»