В апреле 1776 г. фаворит серьёзно думает отретироваться, но хочет сделать это блестящим образом. Если верить сведениям, собранным маркизом де Жюинье, тогдашним новым посланником Франции в Петербурге, он просил у императрицы, взамен того положения, которого соглашался лишиться, трона Курляндии, прибавляя, что смотрит на этот пост как на нечто временное, переходное к трону Польши. На этот раз воспоминания о Бироне и Понятовском преследовали воображение великого честолюбца. Но Екатерина уже не была в состоянии раздавать троны. Она, впрочем, выучилась дешевле расплачиваться с образами, которые поблекли. В ноябре того же года произошёл кризис. Как бы следуя року, которому подпадали по очереди его предшественники и, повторяя неосторожность, погубившую красавца Орлова, Потёмкин взял отпуск для ревизии Новгородской губернии. Это послужило сигналом: через несколько дней после его отъезда, Завадовский водворился на его месте.
Путешествие Потёмкина считалось современниками знаком немилости Екатерины. Каково было впечатление этого события, видно из письма Чернышёва к Андрею Кирилловичу Разумовскому от 24 июня 1776 года: «Бедный Потёмкин вчера уехал в Новгород, как говорит, на три недели, для осмотра войск: хотя он имеет экипажи и стол придворные, он все-таки недоволен».
Несмотря на высокую степень милости, которой Орловы пользуются в настоящую минуту у государыни, и на недоброжелательство, с которым, как полагают, граф Орлов относится к князю Потёмкину, последнему продолжают оказывать необычайные почести. Во время своей поездки в Новгород он пользуется совершенно придворной обстановкой, и продолжают утверждать, что он через несколько недель возвратится сюда, но, тем не менее, я полагаю, что милость его окончена, и меня уверяли, что он уже перевёз часть принадлежащей ему мебели из комнат, занимаемых им в Зимнем дворце. Высокомерие его поведения в то время, когда он пользовался властью, приобрело ему столько врагов, что он может рассчитывать на то, что они ему отомстят в немилости, и было бы удивительно и неожиданно, если бы он окончил своё поприще в монастыре – образ жизни, к которому он всегда оказывал расположение; и едва ли не лучшее убежище для отчаяния разбитого честолюбия. Говорят, что долги его превышают двести тысяч рублей.
Однако, отсутствие Потемкина было непродолжительно; временный его отъезд из столицы не означал опалы. Чувства Екатерины к нему были неизменны, и его возвращение ознаменовалось необычайным знаком благоволения: с этих пор Потёмкину было отведено помещение в императорском дворце. Несмотря на это, придворные настойчиво держались того мнения, что он утратит свое значение, и не верили своим глазам, сомневаясь в очевидности.