В Одессу к мужу она приехала 6 сентября, на последних месяцах беременности, и жила на даче, пока отстраивался городской дом. В октябре она родила сына Семена, а в декабре уже появилась в обществе.
Вокруг Воронцовых сложился блестящий двор польской и русской аристократии. Графиня Елизавета Ксаверьевна любила веселье. Она сама и ее ближайшие подруги графиня Шуазель и Ольга Нарышкина участвовали в любительских спектаклях, организовывали самые утонченные балы в городе. Елизавета Ксаверьевна была прекрасной музыкантшей, в Одессе у нее был свой портативный орган, она считалась одной из первых в России исполнительниц на этом инструменте.
Елизавета Ксаверьевна пользовалась успехом у мужчин и всегда была окружена поклонниками, к числу которых принадлежал в пору своей южной ссылки (июнь 1823 – июль 1824) поэт А. С. Пушкин. Так пишут многие исследователи, но был ли поэт действительно влюблен в знатную даму или она была его поэтической музой?
Александр Сергеевич Пушкин находился в ссылке еще во время губернаторства графа Воронцова в Кишиневе, а затем на его глазах в Одессе (1820–1824). Отношения между ними сразу не заладились; губернатор рассматривал ссыльного поэта прежде всего как чиновника, давал ему поручения, казавшиеся тому оскорбительными, граф стал объектом многочисленных едких, хотя не во всем справедливых эпиграмм Пушкина: «Сказали раз царю, что наконец…», «Полу-милорд, полу-купец…» (которая приведена в начале главы), «Певец Давид хоть ростом мал…», «Не знаю где, но не у нас…»; Пушкин высмеивает в них гордость, сервильность (с его точки зрения) и англоманию (опять же с его точки зрения, а как не англомания, если человек вырос и воспитан был в Англии?) губернатора. (Сервильность – раболепие, низкопоклонничество. –
В защиту Воронцова следует сказать, что для своих современников А. С. Пушкин не был уж таким известным и великим поэтом, каким его видят потомки. Да, он был популярен в салонах Москвы и Петербурга, стихи его печатались и расходились переписанными от руки, но это не было совсем не то, что представляем себе мы. Многие современники Пушкина ставили сочинения Е. А. Баратынского и К. Н. Батюшкова много выше самого Пушкина. Кроме того, всем известен вспыльчивый характер и взрывной нрав великого поэта. Еще один большой поэт, глубокий знаток стихов и творчества Пушкина в целом, Анна Андреевна Ахматова, выразилась так: «Пушкин – арап, который бросался на русских женщин». Многие исследователи-пушкинисты упрекали поэтессу за эту, как кажется, вольность. Но ведь и всем известный майор в отставке Н. Мартынов, сказал, что, если бы была возможность, он застрелил бы Лермонтова еще раз – такой несносный характер был у маленького гусара.