«При обозрении моем губернских тюрем в ужас меня привело гибельное состояние сих несчастных… Более 150 человек, а бывает, как сказывают, нередко и до 200, повержены и заперты без различия вин, пола и состояния в смердящие и опустившиеся в землю, без света, без печей, избы, или, лучше сказать, скверные хлевы. Нары, подмощённые от потолка не более ¾ разстоянием, помещают сие число узников, следовательно согревает их одна только теснота, а освещает между собою одно осязание». Державин не просто критиковал, он уже готовил строительство нового острога. А нерасторопных юристов предлагал наказывать оригинальным способом: «Признаюсь я вашему высокопревосходительству, что господам уголовным судьям, между разговорами, приятельски советовал я взять способ к скорейшему решению их распри и разноголосицы тот; чтоб они, хотя когда из любопытства, один раз заглянули в тюрьму и увидели, как страждут там люди».
Словом, Державин сделал всё для того, чтобы Лермонтов через полвека сумел написать о Тамбове:
Впечатляющее здание острога — это уж точно заслуга Державина. Устройством тюрем Державин всегда интересовался особо. Наказания должны исправлять, а не уничтожать провинившегося — по крайней мере в идеале, к которому Державин стремился.
С удивлением поглядывали тамбовчане на строительство острога, а Державин приказал ещё и обустроить отдельный дом для умалишённых.
Где выискать верных и достойных соратников?.. В Петрозаводске оставался старший советник правления Свистунов — Державин доверял ему, хотел перевести в Тамбов. В Тамбов Свистунова устроить не удалось, но верный товарищ помог Державину продать новому олонецкому губернатору мебель, оставшуюся в Петрозаводске. А Свистунов, с которым Державин надолго сохранил дружеские отношения, вскоре оказался в столицах.
И всё-таки наладить работу бюрократического аппарата энергичному управленцу было проще, чем урезонить крепостников, которых ни на хромой козе, ни на губернаторской лошадке не объедешь.
«Я приехал сюда с твёрдым намерением действовать, как я должность свою понимаю, всё, что делается нами, на пользу Отечеству служить должно. Глубокую надежду питаю, что общие наши усилия да труды на благо государства и во имя процветания края Тамбовского, коль скоро сделается мне опорой, и подмогой, не напрасны будут. А пуще всего с беззакониями бороться. Соблюдение законов — первейший долг наш. Неправедности и гнусности не потерплю. А посему должны господа служители правления Свод законов Российской Империи изучить прилежно, дабы все дела в соответствии отправлять…» — таково губернаторское кредо. Чтобы исполнять законы, их нужно знать и понимать. И Державин занялся правоведческим просвещением: выписывал книги, экзаменовал чиновников.
Рвение Державина постепенно начинало утомлять Гудовича. Державин обнаружил, что государственные повинности взимаются неисправно, а казённая палата покрывает воровство и даже не составляет в срок списки неплательщиков… Подробно исследовав эту проблему, Державин составил записку в Сенат. Гудович исключил из записки жалобы на казённую палату. Его можно понять: он не позволял Державину выслуживаться перед Сенатом за счёт губернских органов. Начинаниям тамбовского реформатора сопротивлялись тамбовские ставленники генерал-губернатора, а дел у Гаврилы Романовича было несметно.