С этих пор провиантское дело отошло как бы на задний план, и началась просто борьба между губернатором и наместником. Обе стороны искали изобличить друг друга в упущениях и проступках. Все канцелярии были пущены в ход, и, как прежде в Петрозаводске, в борьбу оказались вовлечены многие лица и учреждения. Город разделился на два лагеря — преобладали сторонники Гудовича и Ушакова. С тех пор, как положение Державина пошатнулось, его хлебосольство было забыто, вместе с театрами и концертами. Глазам тамбовского общества губернатор представился странным, беспокойным, а может быть и опасным человеком, который во всем берет сторону бедных против богатых, заботится о колодниках и умалишенных, а с начальством ссорится. Державиных стали травить. Некая госпожа Чичерина, встретив Екатерину Яковлевну в гостях у помещика Арапова, наговорила ей колкостей. Отвечая ей, Екатерина Яковлевна сделала неловкое движение и нечаянно задела противницу опахалом. На другой день весь Тамбов говорил о побоях, нанесенных губернаторшею почтенной даме. Поднялся такой шум, что предания об этой истории не умирали в Тамбове сто лет без малого. Ушаков, Лаба и еще кое-кто из чиновников подстрекнули Чичериных жаловаться императрице. Жалобу сочиняли впятером, просидев над ней целый вечер.
Гудович тем временем продолжал наступление на Державина. Нельзя отрицать, что последний, обороняясь, действовал заносчиво и давал поводы к новым обвинениям. Петербургские друзья, которым дело было виднее, предупреждали его, но он стоял на своем, видя в борьбе с Гудо-вичем исполнение своего долга и по обычаю уповая на конечную справедливость Екатерины. В одном из тогдашних писем он говорит: «Иногда не безнужно иметь и врагов, чтобы лучше не сбиваться с пути законов». В ту пору написал он на смерть старой графини Румянцевой оду, которую закончил такими словами:
Как пиит он и остался бессмертен. Но как губернатора дни его были сочтены. На основании рапортов Гудовича и под давлением Вяземского Сенат представил императрице «мнение» об отрешении Державина от должности и о предании суду. Доклад еще не был утвержден, когда весть о нем дошла до Тамбова. Положение Державина стало невыносимо. Он был, по собственному выражению, «загнан и презрен» всем городом. Одно слово императрицы могло бы изменить его положение. Он просил дозволения приехать в столицу — ему было приказано «проситься по команде», т. е. через наместника. Гудович, конечно, не выпустил его из Тамбова. 18 декабря роковой доклад был конфирмован. Губернаторство кончилось.
В ста пятидесяти верстах от Тамбова, на берегу Хопра, лежало красивое и богатое поместив по имени Зубриловка. Державины там не раз гостили у радушных и гостеприимных хозяев — князя и княгини Голицыных. Осенью 1788 года кн. Сергей Федорович находился в армии, осаждавшей Очаков. От него долго не было вестей, княгиня тревожилась, и Державин, как ни поглощен был своими делами, послал ей в ободрение стихи: «Осень во время осады Очакова». Они не принадлежат к его лучшим созданиям; их видимое воодушевление таит следы принужденности: Державину было не до стихов.
При отрешении от должности с него взяли подписку о безвыездном пребывании в Москве впредь до окончания дела, которого рассмотрение было поручено московскому Сенату. Покинув Тамбов в самом начале 1789 г., Державин направился в Москву, но наперед заехал в Зубриловку и там оставил жену. Разлука в столь горестную минуту была тяжела для обоих, но она имела свои основания.
Предстоящий суд очень страшил Державина. В конечном счете он почитал себя правым (да и был прав), но за ним имелись кое-какие вины — следствия раздражения и горячности. Придраться было к чему, а кроме того он понимал, что приговор суда зависит не от одной правды, но еще более от того, чье влияние пересилит в Петербурге.