Свадьба была торжественно отпразднована в селе Остров 6 мая 1782 года. 2 мая 1785 года у Алексея Орлова родилась дочь Анна. Посвящая свое время супруге и дочери, граф не забывал и своих прежних развлечений. Каждый год зимою, еженедельно по воскресеньям, устраивал он «лошадиный бег», куда съезжались не только жители Москвы, но и дворяне других губерний. В летнее время Москва была обязана ему учрежденною перед домом его скачкою на лошадях и прогулкой в Английском саду. «Одним словом, — пишет С. Ушаков, большой поклонник чесменского героя, — граф Алексей Григорьевич был не только почтеннейшим и наилюбезнейшим русским боярином, но и душою, соединяющею российских дворян, сердцем общественных веселостей, нравов и обычаев, надеждою несчастного, кошельком бедного, посохом хромого, глазом ослепшего, покоищем израненного воина и врачом больного гражданина».
Погрузившись в хозяйственные дела, он увлекся своим конным заводом, который скоро приобрел заслуженную известность. На собственном конном заводе граф вывел знаменитую до сих пор породу орловских рысаков. Она была получена в результате смешения арабской и английской скаковых лошадей с кровью голландской, датской и мекленбургской пород. Главными достоинствами этой породы лошадей являются быстрота, энергия и сила, а также правильность и плавность движения.
«Заслуга графа Орлова-Чесменского, — сообщает «Сборник биографий кавалергардов», — не в том, что он был охотником и любителем лошадей — такие есть всегда и везде, — а в том, что он создал тип русской рысистой и верховой лошади. Не говоря о том, что русское коннозаводство обязано ему улучшением всей массы лошадей в России».
Семейная жизнь Орлова продолжалась недолго. 20 августа
года Авдотья Николаевна умерла.
Дочь Анна, рано оставшаяся сиротой, нашла в Орлове нежно любившего ее отца. Попечения и заботы о дочери сделались целью его жизни. Отношения к ней отца отличались необыкновенной нежностью и страстною привязанностью к «ненаглядной» дочери. «Привлекательная собой, развитая сильно физически, гр. Анна Алексеевна была богато одаренной натурой, человеком с необыкновенно добрым, отзывчивым сердцем, унаследованным ею от матери». В молодости она имела много женихов (кн. Барятинский, Куракин, гр. Салтыков, Н.М. Каменский, кн. П.А. Зубов и др.). По свидетельству гр. А.Д. Блудовой, Орлова нежно любила графа Каменского, вскоре умершего, и осталась верна этой любви всю жизнь. Чрезвычайно религиозная, она в щедрой благотворительности нашла цель своей жизни.
В конце июня 1787 года императрица Екатерина в последний раз была в Москве по возвращении из Крыма и из Коломенского приехала под Донской монастырь и лично посетила чесменского героя.
В 1787 году Орлову представилась возможность вернуться на службу. Началась вторая русско-турецкая война, и возникла идея снова отправить эскадру в Средиземное море. Императрица послала собственноручное письмо 21 октября
года к графу Алексею Орлову: «Любя пользу империи, при подписании знатного морского вооружения нельзя, чтоб не пришли мне на ум имя и деяния Алексея Григорьевича Орлова-Чесменского и брата его, графа Федора Григорьевича Орлова. Кому не известно, что они впервые морскими нашими силами врагу имени христианского нанесли страх, трепет и сильные удары, паче же разорением флота его при Чес-ме посреди морей, до того российскому орлу неизвестных; что народная доверенность тамо их встречала; что за ними по следам шла победа? Неоспоримая правда, что имя ваше прибавит моему морскому вооружению еще вес и меру в ужас врагу, во ободрение своим, кои под вами достигли до побед и награждений.
В дружеском письме не повелевается, но спрашивается запросто: «Во-первых, склонен ли граф Алексей Григорьевич Орлов-Чесменский взять охотно паки команду над флотом, когда я ему поручу и сей (то есть флот. — В.Ш.) придет в Архипелаг, куда адмирал Грейг его приведет и с ним останется?
Второе, граф Федор Григорьевич Орлов поедет ли с ним? Буде вы решитеся ехать, то можете паки ехать в Италию и оттуда отправиться во флот. Третье, адмирал Грейг сам все вооружение приведет в самое лучшее и надежнейшее состояние, и сие вооружение сильнее прежнего и готовится к началу будущей весны. О сем описав к вам дружески, пребываю к вам, как всегда, весьма доброжелательна. Екатерина».
Граф отказался, сославшись на болезнь, от начальствования над флотом, на его место был назначен генерал-поручик И.А. Заборовский.