Время постепенно тушило самые неприятные слухи вокруг имени Алексея. Наконец, в 1782 г. он решился. Граф посватался к Евдокии Николаевне Лопухиной, одной из самых красивых и богатых невест Москвы, которой шел 21 год и... получил согласие. Тот факт, что представители старинного дворянского семейства, находившиеся в родстве с императорской фамилией, согласились выдать одну из девиц Лопухиных за незнатного, хотя и очень богатого Алексея, показывает, как высоко ставили графа в московском обществе в начале 80-х гг. 6 мая 1782 г. он венчался в своем подмосковном селе Острове с Лопухиной. На свадьбу была приглашена вся знать старой столицы. Евдокия Николаевна, по свидетельствам современников, отличалась добродушным и приветливым нравом и была очень набожна.
Алексей, в отличие от своего брата Григория, вовсе не слыл волокитой и сердцеедом, хотя всегда нравился женщинам. Судя по его портретам, он не был красив лицом, но стать, удаль и необыкновенное обаяние делали Алексея Григорьевича неотразимым. Только через три года у Орловых родилась дочь Анна. "Я не считаю его особенно способным воспитывать девочек, - писала по этому поводу Екатерина II доктору Циммерману, поэтому желала ему сына". Императрица ошибалась. Трудно себе представить, что в этом хладнокровном, порой жестоком человеке найдется столько нежности и ласки для маленького беззащитного существа, вскоре оставшегося без матери. В августе следующего 1786 г. после тяжелых вторых родов умерла Евдокия Николаевна. Память маленькой Нинушки, как Алексей называл дочь, не сохранила образа матери, но в доме ее имя было овеяно таким почитанием, что, повзрослев, Анна Алексеевна всегда подчеркивала свое особое расположение к материнской родне.
Летом 1787 г. началась вторая русско-турецкая война, и перед овдовевшим Алексеем вновь замаячил призрак возвращения к государственным делам. В Москве его ничто не удерживало, кроме грустных воспоминаний. Императрица звала графа в столицу, т.к. намеревалась назначить командующим формируемой на Балтике новой эскадры, которая, по мысли Екатерины, должна была повторить рейд в Архипелаг. И тут интересы самого Орлова пришли в столкновение с интересами московских оппозиционных кругов, поддержки которых он так долго добивался. В Москве новая война на юге была крайне непопулярной, присоединение Крыма в 1783 г. тоже не вызвало здесь восторга. Один из самых ярких вождей правой дворянской оппозиции правительству князь М.М. Щербатов в своем выступлении в Дворянском собрании Москвы открыто обвинил императрицу и Потемкина в разжигании конфликта с Турцией. Деньги, потраченные на освоение новых южных земель, строительство там городов и создание флота назывались выброшенными на ветер. Ту же мысль высказывал и Алексей, забывая, что прежде, когда власть находилась у него в руках, он был самым твердым сторонником активной внешней политики России именно на юге и составлял проекты, касавшиеся возмущения греческого населения турецких владений и захвата Константинополя.
В конце 80-х гг. Щербатов и Орлов стали союзниками, о чем говорит знаменитый памфлет князя "О повреждении нравов в России". Памфлет этот не издавался на родине более ста лет, но в списках начал ходить по рукам сразу после написания. Орловы оказались единственными фаворитами Екатерины II, на головы которых автор не метал громы и молнии. Напротив, Щербатов заявлял, что при них "дела довольно порядочно шли".
И вот теперь Екатерина II вновь звала Алексея в столицу, намереваясь доверить командование флотом. Соблазн был велик. Граф заколебался, он не хотел потерять поддержку московской оппозиции, но и вернуться к делам тоже не терпелось. В ноябре 1787 г. Орлов приехал в столицу сам. Здесь Алексей повел себя очень двойственно: соглашался вернуться на службу при условии получения фельдмаршальского чина. Тогда он бы мог управлять флотом, не имея над собой прямого начальника, кроме императрицы. Условие невыполнимое, ибо эскадра направлялась в помощь севастопольскому флоту под начальство Потемкина, поэтому Екатерина не могла пойти на удовлетворение просьбы графа.