После возвышения Потемкина Алексей Григорьевич вышел в отставку, покинул Петербург и полностью отошел от государственных дел. Он зажил в старой Москве жизнью несметно богатого, удалившегося на покой вельможи. По словам современников, граф имел великолепную псовую охоту и сам вел родословную своих собак. Одним из первых завел голубей-турманов и почтовых голубей. Широкой известность пользовались орловские бойцовые гуси и канарейки., Граф устраивал в своем имении кулачные бои, тешился скоморохами, пляской, цыганами, хоровым пеньем, петушиными состязаниями и голубиной охотой.
Алексей Орлов первым ввел в Москве моду на конные состязания, проводя скачки на специально выстроенной перед его домом в Нескучном Саду дорожке. Здесь он испытывал лучших рысаков, названных затем в его честь орловскими и выведенных на его конном заводе в Хреново.
Поговаривали, что желание вывести красивых, быстрых и выносливых лошадей появилось у Алексея Григорьевича после рокового случая, произошедшего с ним и будущей императрицей России 28 июня 1762 г. В тот день Екатерина II вместе со своим фаворитом, намереваясь совершить переворот, ехала из Петергофа в Петербург в карете, запряженной парадными длинногривыми конями. Не доезжая несколько верст до заставы, кони перешли на шаг, а затем и вовсе остановились. Каждая минута промедления грозила провалом, а холеные неаполитанские кони не могли сделать и шагу от усталости. Раздобыв лошадей в окрестной деревне, Орлов и Екатерина с трудом добрались до заставы, навсегда запомнив тот момент, когда их жизнь висела на волоске от того, что заграничные кони оказались недостаточно резвы и выносливы.
Граф Орлов приложил много усилий, чтобы вывести особую породу рысистых лошадей. Дело в том, что обычные лошади везли карету рывками, и изнеженных аристократов укачивало при такой езде, а орловские рысаки отличались плавностью хода. Знатоки уверяли, что на круп такого скакуна можно было поставить стакан с водой, и он во время бега не выплёскивал из стакана ни капли. Неспроста открытый в 1834 году московский ипподром первым в мире стал называться рысистым.
Более двадцати лет граф А. Орлов практически безвылазно жил в своём московском имении и видел в дочери Анне единственную радость и утешение. Для забавы своей любимой дочери в перестроенном по последней моде демидовском дворце (ныне занимаемом Академией наук), старый граф давал роскошные пиршества и театральные представления. В июле 1796 года в имении Орлова состоялся роскошный праздник, с народным гулянием и катанием на убранных лодках по Москве-реке, по случаю рождения у Павла сына – будущего императора Николая I. О праздничном фейерверке, поразившем воображение избалованных роскошью вельмож, долго говорила вся Москва.