Диплом на графское достоинство, подписанный Иосифом, заключал в себе следующие слова:
Графское достоинство было распространено и на брата Безбородко, бригадира Илью Андреевича, и их потомство, и притом так, что «яко они уже от четвёртого колена с отцовской и матерней стороны природные были графы и графини Священной Римской империи».
Но и это возвышение было встречено всем петербургским обществом с насмешкой и остротами. Безбородко не любили в обществе за его неумение слыть остряком и весельчаком, терпеть не могли его мрачный и угрюмый вид на всех званых вечерах, смеялись над его спущенными чулками и неуклюжими кафтанами, а более всего над его невыносимым и смешным для русского уха малороссийским акцентом.
Мало того, видные люди общества представили пасквильный рисунок с сатирической подписью под ним. Новоиспечённый граф был изображён в самом оскорбительном и унизительном виде.
Безбородко пожаловался Екатерине. А поскольку в рисунке была затронута и императрица, то Екатерина велела разыскать авторов и сурово наказать их. Авторами оказались весьма знатные люди — баронесса Эльмпт, фрейлина государыни, граф Бутурлин, адъютант Потёмкина, его сестра Дивова.
Наказание было суровым. Баронессу высекли в присутствии гофмейстерины и отослали к отцу в Лифляндию, Бутурлина отставили от службы и отправили в ссылку с запрещением бывать в местах пребывания императрицы, а Дивова вместе с мужем, ни в чём не повинным, была выслана из столицы.
Тем не менее всё петербургское общество встречало Безбородко презрительными взглядами и скрытыми насмешками. Положение изменилось, когда сама государыня пригласила его постоянно бывать на её частных приёмах вечерами в знаменитом Эрмитаже. Теперь у Безбородко не было отбоя от просителей, теперь ему кланялись все сколько-нибудь знатные люди в государстве — поближе к приближённому, и может, достанется милостей, наград, денег, чинов. Таково было русское общество восемнадцатого века!
Многочисленные должности и поручения императрицы почти не оставляли Александру Андреевичу свободного времени, однако он умудрялся не упускать возможности кутить самым пошлым образом в свободные от присутствия дни. Но с начала недели он снова был в отличной форме, являлся с докладами к императрице самым точным манером.
Екатерина постоянно интересовалась почтовым ведомством, которое было поручено Безбородко. За образец для устройства почтовой связи он взял французскую почту и приводил в порядок все системы почтовой связи. Были открыты многочисленные почтамты, что сделало более удобными сообщения по стране, устроены почтовые станции не далее, как в пятнадцати-двадцати пяти вёрстах друг от друга, проложены новые, наиболее короткие и спокойные дороги, а почта была разделена на лёгкую и тяжёлую, а правила о подорожных установлены твёрдые и легко контролируемые. Но несмотря на все эти меры, почтовое дело оставалось в России всё ещё далеко не идеальным. Екатерина сердилась и выговаривала Безбородко, но дальше этого не шла — слишком уж тяжело было превращать Россию в цивилизованную страну, и императрица отлично понимала это. Однако меры, предпринятые Безбородко, подвинули вперёд почтовое ведомство, и с тех пор почта начала приходить аккуратно и быстро. Но зато императрица заметила, что главным препятствием в России, в том числе и для становления почтового дела, остаются дороги. Обширные пространства страны, множественные болота, леса, горы — всё это составляло непреодолимые препятствия для развития дорожной сети. Ив 1786 году Екатерина назначила Безбородко членом «комиссии о дорогах в государстве».
Почти одновременно она ввела его в Государственный совет при императрице.