Видимо, именно Раевский «подстроил» в мае 1824 года унизительную для Пушкина командировку на борьбу с саранчой, когда поэта, как простого клерка направили на это «благородное» дело. Он же убедил Александра Сергеевича написать Воронцову резкое послание с просьбой об увольнении. Но Воронцов опередил его, отправив к канцлеру Нессельроде коварное письмо.
«Если граф Воронцов имел основания ревновать, то последующее его поведение становится вполне объяснимым и не столь преступным, как об этом принято говорить, – считает литературовед Нина Забабурова. – Ему, естественно, необходимо было удалить человека, посягавшего на его семейное благополучие… Не заметить пылких чувств поэта к собственной супруге граф Воронцов, естественно, не мог. Это не могло не усилить взаимной антипатии генерал-губернатора и рядового чиновника его канцелярии. В марте 1824 года появилась знаменитая эпиграмма Пушкина „Полу-милорд, полу-купец…“
Видимо, к маю 1824 года ситуация предельно обострилась, и в письме М. С. Воронцова к Нессельроде звучит нескрываемое раздражение. Кажется, ему изменила обычная аристократическая выдержанность: „…я повторяю мою просьбу – избавьте меня от Пушкина: это, может быть, превосходный малый и хороший поэт, но мне бы не хотелось иметь его дольше ни в Одессе, ни в Кишиневе…“».
Результатом летом 1824 года стало высочайшее повеление об отправке Пушкина в Псковскую губернию в имение родителей, под надзор местного начальства.
А что же сама Елизавета Ксаверьевна?
«Ей было уже за тридцать лет, – вспоминает Вигель, – а она имела право казаться еще самою молоденькою. Со врожденным польским легкомыслием и кокетством желала она нравиться, и никто лучше ее в том не успевал. Молода она был душою, молода и наружностью. В ней не было того, что называют красотою; но быстрый, нежный взгляд ее миленьких небольших глаз пронзал насквозь; улыбка ее уст, которой подобной я не видел, казалось, так и призывает поцелуи».
По мнению некоторых исследователей истории и литературы, Елизавета Ксаверьевна родила от Пушкина 3 апреля 1825 года дочь Софью. Однако не все согласны с подобной точкой зрения: в доказательство приводятся слова В. Ф. Вяземской, жившей в то время в Одессе и бывшей «единственной поверенной его (Пушкина) огорчений и свидетелем его слабости», о том, что чувство, которое питал в то время Пушкин к Воронцовой «очень целомудренно. Да и серьезно только с его стороны».
Г. П. Макогоненко, посвятивший отношениям Пушкина и Воронцовой целый раздел в книге «Творчество А. С. Пушкина в 1830-е годы», пришел к выводу, что роман Воронцовой и Пушкина «созданный пушкинистами миф». Биографы Натальи Николаевны Пушкиной И. Ободовская и М. Дементьев, считают, что жена поэта, зная о всех его увлечениях, не придавала значения, несмотря на то, что была очень ревнива, его отношениям с Воронцовой: в 1849 году, встретив Елизавету Ксаверьевну на одном из светских вечеров, она тепло беседовала с ней и собиралась представить ей старшую дочь поэта Марию. Известно, что жена Пушкина была представлена Воронцовой в 1832 году.