Другая непріятность для Безбородки состояла въ томъ, что когда умеръ князь Потемкинъ, тогда надѣялись, что можно будетъ поправить зло имъ сдѣланное, но, какъ выразился Безбородко, «боятся нарушать тестаменты покойника, которые выдаетъ Поповъ», а между тѣмъ всѣ непорядки ставились па счетъ Безбородки и близкихъ къ нему людей — графовъ А. Р. Воронцова и Н. И. Салтыкова. Въ письмѣ своемъ къ С. Р. Воронцову, Безбородко жалуется, между прочимъ, на то, что заслуги его по заключенію ясскаго мира «мало примѣтны при дворѣ" и что его хотятъ поставить на одинъ уровень съ Турчаниновымъ, Державинымъ и Храповицкимъ.
Попытки Безбородки возстановить свое прежнее значеніе ее удавались и противъ него зародилось неудовольствіе у самой императрицы. Подъ 20-мъ числомъ декабря 1792 года Храповицкій въ своемъ «Дневникѣ» записалъ: «По окончаніи разбора почты спросили, нѣтъ ли еще чего? Догадала меня нелегкая сказать, что есть доклады, графомъ Безбородкою оставленные. Tourmentez moi si vous ayez envie (мучьте меня, коли вамъ хочется). А по вы слушаніи трехъ докладовъ, Екатерина отозвалась: c’est bien ennuyeux, mais il faut passer par là» (это очень скучно, но нужно вытерпѣть).
Дошло даже до того, что Безбородкѣ, напримѣръ, по поводу его записки объ іезуитахъ, пришлось получить отзывъ не прямо отъ государыни, а чрезъ ея секретарей, а другой случай убѣдилъ Безбородку, по собственнымъ его словамъ, въ томъ, что «нынѣ императрица смотритъ на людей уже не его глазами».
Наступавшій 1793 годъ Безбородко намѣревался провести въ Москвѣ — убѣжищѣ недовольныхъ вельможъ того времени. Вмѣстѣ съ тѣмъ распространился въ Петербургѣ слухъ, что Безбородко намѣренъ уѣхать за границу, о чемъ, впрочемъ, онъ и самъ говорилъ Храповицкому, обусловливая свой отъѣздъ положеніемъ военныхъ дѣйствій въ Германіи. Поѣздка въ Москву была неудачна, тамъ онъ, больной, прожилъ четыре недѣли и возвратился въ Петербургъ, едва оправившись. Здѣсь Безбородко ясно увидѣлъ, что онъ находится, по его выраженію, «въ весьма непристойной роли, которую онъ представляетъ публикѣ». Неудовольствіе свое на такую роль Безбородко выразилъ въ письмѣ своемъ къ С. Р. Воронцову въ слѣдующихъ строкахъ: «Хотятъ, чтобы мы работали, но чтобъ въ публикѣ считали, что одинъ юный человѣкъ все самъ дѣлаетъ; и я могу вамъ признаться, что въ пущее время силы князя Потемкина, — онъ меньше нынѣшняго, а я уже несравненно болѣе нынѣшняго значилъ».
Нѣсколько позднѣе, Безбородко писалъ тому же Воронцову: «Положеніе мое точно таково, какъ я описывалъ. Я весьма желалъ бы, чтобъ меня въ покоѣ оставили при моихъ департаментахъ и не обременяли бы меня бездѣлицами, которыя ни съ чиномъ, ни со службою моею не согласуются и которыя мнѣ только непріятности наносятъ. Все, что значитъ дѣло внутреннее, идетъ чрезъ нововыдавшаго себя человѣка. Но какъ идетъ? Недвижимо, или же бу де выходитъ, то, поистинѣ, мнѣ иногда жаль изъ самой благодарности къ государынѣ и привязанности къ отечеству».
Далѣе Безбородко сѣтуетъ на плохой выборъ людей и на то, что государыня никогда такихъ плохихъ указовъ не издавала какъ теперь; разсказываетъ, что господа, находящіеся теперь въ силѣ, «не надѣясь на таланты свои, нашли другое средство свое необходимымъ поставить, а именно дискредитировать прочихъ и представить нѣкоторый родъ опасности или сомнѣнія употребленія ихъ».
«Дискредитированіе» по отношенію Безбородки перешло въ молву объ его неспособности вести дѣла и о допущенныхъ будто бы имъ громадныхъ промахахъ, въ родѣ непредохраненія казны отъ расхищенія и т. п. По поводу этого, Ростопчинъ 14-го апрѣля 1793 года писалъ въ Лондонъ Воронцову: «Не знаю, насколько графъ Безбородко заботится или нѣтъ о сохраненіи своего вліянія, но онъ обнаруживаетъ рѣдкую безпечность и, хотя облеченъ первою ролью въ дѣлахъ, а кажется простымъ зрителемъ. Онъ устраняется сколь возможно, и не покидая двора, ищетъ спокойствія. Онъ достойнѣйшій и добрѣйшій человѣкъ; если бы ему возвратили власть, которую онъ имѣлъ, то онъ сдѣлалъ бы во сто разъ болѣе добра, чѣмъ всѣ эти люди, которые только стараются унизить весь родъ человѣческій и полагаютъ великое счастіе въ надменности и нахальствѣ».
Но значеніе Безборгодки умалялось, и въ письмѣ къ графу А. Р. Воронцову, отъ 27-го іюня 1793 года, онъ сообщалъ, что ему «нельзя похвалиться своимъ пребываніемъ. Все, что есть прямое дѣло, легко и съ удовольствіемъ дѣлается, отдается въ руки другимъ; всякая дрянь и все, что влечетъ за собою непріятности, на него взваливается». Вѣрите-ли — писалъ онъ, что, «ища дѣла, часто я не нахожу съ чѣмъ идти, да когда и вхожу, то нерѣдко примѣчаю, что одно, нѣкоторое, быть можетъ, къ степени моей уваженіе, удерживаетъ, что меня такъ, какъ Храповицкаго, не высылаютъ, хотя скука ясно видна».