После трех неурожайных лет в 1833 году начался голод. Среди принятых Репниным мер был вывод войск из пострадавших губерний, что позволило раздать населению значительное количество хлеба, уменьшение винокурения помещиков. Сэкономленное таким образом зерно поступало в продажу, а помещикам выдавались ссуды для прокорма крестьян.
Высочайшим указом от 1 января 1835 года Репнин был уволен с должности Малороссийского губернатора и назначен членом Государственного совета, после чего князь переехал в Петербург. Затем 28 июня 1836 года последовал указ Государственному совету об увольнении Репнина «вовсе от службы». На его имущество была назначена опека. Враги Репнина долго собирали против него крамолу, а его отсутствие в Северной столице дало им возможность «покопаться» во всех делах по управлению края и найти на князя «компромат». Безо всяких доказательств они обвинили его в хищении казенных денег. В этом отношении в качестве предлога они использовали дело постройки учрежденного по почину его супруги Института благородных девиц. Назначенных денег оказалось недостаточно для завершения строительства, и Репнин заимообразно употребил на этот же предмет из сумм Полтавского Общественного Призрения еще 20 000 рублей. То есть Репнин временно перевел сумму казенных денег с одного счета на другой в тех же социальных и благотворительных целях. О чем враги Репнина держали гробовое молчание – это о том факте, что князь из своих собственных средств употребил на постройку объекта еще 65 000 рублей! Мне рассказывали, что опала была инициирована подозрительным и беспощадным императором Николаем І, которому клеветники нашептали, что «князь Репнин будто бы хотел стать гетманом Малороссии». Может быть, предчувствуя беду, еще задолго до этих событий он писал:
Лживый донос, несправедливая опала, опека над его имуществом глубоко оскорбили Репнина, и он уехал со всем семейством из Петербурга за границу. Прожил несколько лет в Дрездене, Риме и Флоренции и вернулся в свое имение в Яготине лишь в 1842 году. Местное дворянство готовило Репнину великолепный прием, который он, однако, отверг. Но народ везде по дороге встречал его с хлебом и солью. Опала не могла не отразиться на психике и здоровье князя и
Как пишет «Биографический словарь»:
Д. П. Селецкий в своих «Записках» пишет: