Трудно сказать, когда именно начали изменяться к худшему отношения поэта с Воронцовым. По-видимому, это происходило постепенно, но неуклонно в течение целого года. Основной причиной была полная независимость, с которой держался Пушкин, выражавшаяся прежде всего в отсутствии того внешне сдержанного, но безусловного преклонения перед личностью и положением графа, которым были проникнуты все служившие при генерал-губернаторе.
Воронцов, во время Отечественной войны проявивший себя доблестным патриотом, через десять лет, в Одессе, предстал совсем в ином свете. Теперь – это только царский наместник, управляющий обширной областью, не сумевший в своих отношениях к Пушкину подняться выше уровня среднего царского сановника. Генерал-губернатора раздражали едкие эпиграммы на близких ему чиновников и одесское общество, часто рождавшиеся у поэта в виде блестящих экспромтов, которые окружающие тотчас запоминали и передавали графу. Вельможа Воронцов рассматривал Пушкина только как прикомандированного к его канцелярии «неудобного», слишком гордого и независимого чиновника, находившегося к тому же на очень дурном счету у правительства за известное всем свободомыслие. Сам Пушкин летом 1824 года в одном из писем так определил отношение к нему генерал-губернатора: «Он видел во мне коллежского секретаря, а я, признаться, думал о себе что-то другое».
Занятия поэтическим творчеством не возвышали Пушкина в глазах аристократа Воронцова, а скорее, наоборот, принижали его. Однако генерал-губернатор мог бы, пожалуй, предложить покровительство этому «коллежскому секретарю» при условии, что он будет податлив и почтителен, станет «его поэтом». Но именно покровительства, чуть презрительного меценатства, и не желал Пушкин. Он не хотел и не мог воспевать личность Воронцова и его таланты, он требовал к себе должного уважения и как человек, и как поэт. В июне 1824 года, отвечая на письмо Вяземского, решившего организовать журнал, в котором они могли бы сплотить своих единомышленников, и, по-видимому, выяснявшего у поэта возможность создания такого журнала в Одессе, Пушкин писал: «…на Воронцова нечего надеяться. Он холоден ко всему, что не он; а меценатство вышло из моды. Никто из нас не захочет
В те же дни в письме к правителю графской канцелярии Казначееву, искренне расположенному к поэту, Пушкин, с трудом сдерживая накипевшее раздражение, писал: «Вы говорите мне о покровительстве и о дружбе. Это две вещи несовместимые. Я не могу, да и не хочу претендовать на дружбу графа Воронцова, еще менее на его покровительство: по-моему, ничто так не бесчестит, как покровительство, а я слишком уважаю этого человека, чтобы желать унизиться перед ним… Я устал быть в зависимости от хорошего или дурного пищеварения того или другого начальника, мне наскучило, что в моем отечестве ко мне относятся с меньшим уважением, чем к любому юнцу-англичанину…»
Но существовала и другая причина взаимного нерасположения Пушкина и Воронцова. Она заключалась в отношениях поэта к жене генерал-губернатора Елизавете Ксаверьевне (урожденной графине Браницкой). Ей посвящены стихи: «Сожженное письмо», «Талисман», «Ангел» и «В последний раз твой образ милый…». Некоторые черты Воронцовой поэт придал Татьяне Лариной. Сведениями о ней живо интересовался он в годы, последовавшие за жизнью в Одессе. Воронцова подарила Пушкину перстень с восточной надписью, с которым он никогда не расставался (после смерти Пушкина он принадлежал В. А. Жуковскому, потом И. С. Тургеневу). Есть сведения, что Воронцова была готова содействовать Пушкину в задуманном им бегстве из Одессы. Наконец, она писала ссыльному поэту в село Михайловское, но эти письма (кроме одного) не дошли до нас.
Наружность Воронцовой и то впечатление, которое она производила, описывает в следующих словах постоянно видевший ее в Одессе чиновник: «Ей было уже за 30 лет, а она имела все право казаться молоденькою. Долго, когда другим мог бы надоесть свет, жила она девочкой при строгой матери в деревне; во время первого путешествия за границу вышла она за Воронцова, и все удовольствия жизни разом предстали ел и окружили ее. Со врожденным легкомыслием и кокетством желала она нравиться, и никто лучше ее в том не успевал. Молода она была душой, молода и наружностью. В ней не было того, что называется красотою; но быстрый, нежный взгляд ее миленьких небольших глаз пронзал насквозь; улыбка ее уст, которой подобной я не видел, казалось, так и призывает поцелуй».
Портрет Воронцовой, исполненный Хатером в 1832 году, выставлен в залах английской живописи Эрмитажа. На нем графиня изображена в малиновом берете, столь тесно связанном с обликом Татьяны Лариной.