Когда граф Орлов возвратился в Россию, он увидел, что брат его, Григорий, окончательно ушел от дел, а сама императрица всецело попала под влияние молодого Потемкина. Он встал во главе всех начинаний, всех дел и всех помыслов Екатерины, а та предоставила ему полные полномочия на любые действия и поступки. Любое слово Григория Потемкина воспринималось ею как гениальная мысль, а на слабости и недостатки фаворита при дворе, следуя за государыней, закрывали глаза. Как уже говорилось выше, Алексей был оскорблен тем, что Екатерина дала брату Григорию полную отставку, и не желал подчиняться Потемкину, поэтому счел для себя единственно возможным полную и безоговорочную отставку, каковую Екатерина ему не пожелала удовлетворить сразу же. Первую попытку отойти от дел граф А. Орлов предпринял еще в 1774 г., когда речь шла о Кючук-Кайнарджийском мире. При дворе стало распространено сравнение, что Григорий Орлов провалил мирные переговоры, тогда как тезка его, Григорий Потемкин, добыл выгодный мир России. Летом 1774 г. Алексей Григорьевич обратился с письмом к Потемкину, поздравляя с «выгодным и полезным миром» и прямо заявляя, что силы его подточены тяжелым недугом и он не может долее служить России верой и правдой, как прежде это делал всегда: «…никто столько не рад миру, как я: потому что болезненные во мне припадки совсем мое тело разрушили и всю силу отняли так, что я едва-ль (sic!) нахожу в себе способность какую-нибудь службу впредь несть, неделю кажусь быть здоров, а две и три недели меня разные припадки угнетают, и особливо во внутренности множество обструкциев чувствую…»
{122}. Он пытался воздействовать на императрицу через Потемкина, зная, что тот уж ему в такой малости — полной отставке — не откажет… За ответом же на эту невысказанную просьбу он явился к ней сам, удостоившись нескольких аудиенций. Потемкин, по воспоминаниям очевидцев, был сильно не в духе, видя ничуть не сдавшее расположение императрицы к А. Орлову, хотя и старался этого не показывать. Д.Г. Гаррис, английский посланник в России, вспоминает, что императрица увещевала Орлова быть другом Потемкину, научить его тому, чему может научить только столь опытный человек, как он. Она понимала, что иначе потеряет Алексея Орлова, говоря к нему: «…ради Бога сдружись с ним, чтоб я и этим могла бы быть тебе обязанной и содействуй моему домашнему счастью, как ты содействовал блеску и славе моего царствования» {123}. Но тот отвечал отказом: «Вся жизнь моя — есть служба вам… но чтобы я с моим характером, с моею репутацией пустился бы в придворные интриги, чтобы я искал дружбы человека, которого презираю… Ваше Величество меня простите, если я откажусь» {124}. Гаррис далее пишет, что императрица зарыдала. Верить этому или нет — дело десятое, однако, несомненно, расставание с верным сподвижником и опорой, Алексеем Орловым, было для нее весьма нелегким, и она просила его не покидать Петербурга.Позднее, в 1775 г., выполнив поручение с ливорнской пленницей, он обратился с прошением об увольнении к Екатерине: «Всемилостивейшая Государыня! Во все время счастливого государствования Вашего Императорского Величества службу мою продолжал сколько сил и возможности моей было, а ныне пришел в несостояние, расстроил все мое здоровье и, не находя себя более способным, принужденным нахожусь пасть ко освященнейшим стопам Вашего Императорского Величества и просить от службы увольнения в вечную отставку»
{125}.Как бы то ни было, 11 декабря 1775 г. прошение графа А.Г. Орлова-Чесменского об отставке «навсегда от всякой службы» было удовлетворено; ему назначалась достойная пенсия с различного рода прибавками — 25 тысяч рублей в год плюс 4 тысяч рублей жалования как генералу-аншефу. Екатерина знала, что Орлов Орлова не предаст: Алексея не уговорить остаться, если она удалила от себя Григория… Но она тяжело переживала уход А. Орлова, даже занемогла…
Уйдя в окончательную отставку, Алексей Григорьевич уехал в Москву и всецело занялся любимым делом — разведением лошадей и собак, улучшением существующих пород и выведением новых, то есть жил он в свое удовольствие, на радость родным и друзьям, совсем не так, как должен был бы влачить существование человек, впавший в немилость у великой императрицы. Временами он ездил в Петербург, за границу, навещал братьев, с которыми состоял к тому же в постоянной переписке. В одно из пребываний его в Европе он познакомился с итальянкой Кориллой, и у них завязался бурный роман. Под именем Кориллы была известна знаменитая поэтесса Магдалина Морелли, наравне с Петраркой увенчанная на Капитолии в знак признания ее величайших заслуг.