17 мая 1782 г. в московской Ризоположенской церкви Алексей Григорьевич обвенчался с Евдокией Николаевной Лопухиной (17.12.1762-21.08.1786), дочерью гвардейского капитана Николая Александровича Лопухина от его брака с Анной Алексеевной Жеребцовой. Евдокия подарила графу двоих детей: Анну (2.05.1785-5.10.1848) и Ивана (21.08.1786-8.10.1788), и умерла от последствий родов. В Метрической книге церкви Ризоположения близ Донского монастыря: 21 августа 1786 г. «у генерал аншефа и всех российских орденов кавалера графа Алексия Григорьевича Орлова Чесменскаго родился сын Иоанн. 23 августа крещен. Восприемником был граф Иван Григорьевич Орлов». 30 июня 1787 г. Граф А.Г. Орлов-Чесменский кланялся в ноги императрице за пожалование сына в капитаны Преображенского полка. 8 октября 1788 г. «у его сиятельства графа Алексия Григорьевича Орлова Чесменскаго умре сын гвардии капитан Иоанн Алексеевич коему от роду было два года и два месяца погребен в Спасоандроньевском монастыре». Смерть жены, а затем и двухлетнего сына Алексей Григорьевич тяжело переживал. Дочь Нинушку воспитывал сам, обучал танцам и верховой езде.
В 1796–1801 гг. по негласному распоряжению Павла I граф находился в изгнании, путешествуя по городам Германии, а после гибели императора вернулся в Россию. Граф поселился в Москве на Большой Калужской, в Майском дворце – бывшей демидовской каменной усадьбе, принадлежавшей его дочери Анне. Здесь он прославился устройством пышных балов и конных выездов, на которые сбегалась смотреть вся Белокаменная. Балы А.Г. Орлова-Чесменского поражали воображение как русских, так и иностранцев. «На балу у графа Орлова я видела, или, лучше сказать, слышала роговую музыку, – писала Марта Вильмот сестре в Англию 24 января 1804 г. – Музыкальная пьеса исполнялась на 40 рогах. Для такого оркестра необходимо уметь 40 исполнителей, потому что каждый рог издает только одну ноту. Судите же сами, какова в этой стране ценность человека и сколько крепостных у этой семьи, если можно держать такое количество людей, единственное назначение которых – дуть в рог».
Очевидец гулянья 1 мая 1805 г. в Москве описал один из выездов графа: «Впереди, на статном фаворитном коне своем, Свирепом, как его называли, ехал граф Орлов в парадном мундире и обвешанный орденами. Азиатская сбруя, седло, мундштук и чепрак были буквально залиты золотом и украшены драгоценными каменьями. Немного поодаль, на прекраснейших серых лошадях, ехали дочь его и несколько дам, которых сопровождали А.А. Чесменский [побочный сын графа – Автор], А.В. Новосильцов, И.Ф. Новосильцов, князь Хилков, Д.М. Полторацкий и множество других неизвестных мне особ. За ними следовали берейторы и конюшие графа, не менее сорока человек, из которых многие имели в поводу по заводной лошади в нарядных попонах и богатой сбруе. Этот поезд графа Орлова, богатого, знатного, тучного и могучего вельможи, с такою блестящею свитою, с таким количеством нарядных служителей, с таким множеством прекрасных лошадей и разнородных экипажей, представляет необыкновенно великолепное зрелище и не может не действовать на толпу народную. Граф Орлов и не одним своим богатством и великолепием снискал любовь и уважение москвичей, он доступен, радушен и, как настояний русский барин, пользуясь любимыми своими увеселениями – скачками, бегами, цыганскими песнями, плясками и прочим, – обращает их также в потеху народа и как будто разделяет с ним преимущества, судьбою ему предоставленные».