Вместе с другими старшими братьями Алексей Разумовский учился в Страсбургском университете, а затем довершал образование в Италии, в Англии. В 21 год вернулся в Россию, чтоб отечеству полезным быть, как хотел того и он сам, и его отец. Пользу приносил при дворе в мундире камер-юнкера, а позднее камергера. Отечеству служил недолго. Женившись на богатейшей невесте России графине Варваре Петровне Шереметевой, подал прошение об отставке, поселился в Москве и погрузился в помещичий быт. Отец выделил ему обширное имение под Москвой — Горенки. В его обустройство вложил он всю свою энергию, практичность, размах — знать, к земле, к хозяйству имел истинное призвание. Перестроил дом. Расширил парк и засадил его и оранжерею диковинными, из разных стран и губерний России привезёнными растениями. В прудах разводил рыбу. Всё это делалось добротно, со смаком, с выпестованным с детства вкусом. Только развернулся, как из Петербурга снегом на голову свалилась монаршая милость: Екатерина произвела графа Разумовского в тайные советники и повелела без промедления явиться на службу в Сенат. Неохотно покинул Алексей Кириллович полюбившиеся ему Горенки, где тихо средь мирных трудов, книг, произведений искусства текла его сельская жизнь. Прошло девять лет. Однажды при обсуждении одного закона он позволил не согласиться с мнением её величества. Строптивость сенатора разгневала императрицу. Она приняла его прошение об отставке. Случилось это за год до смерти Екатерины.
Категоричность этого поступка, казалось, его самого удивила. Он задумался о свой доколешней жизни и решил попробовать начать всё заново. Вихрь раздумий взметнул в Алексее Кирилловиче решительность ураганной силы: он порывает с светским обществом, ограничивает свои знакомства, общение с родственниками, расстаётся с опостылевшей, давно раздражавшей его женой — глуповатой Варварой Шереметевой. Свой дерзкий по тому времени поступок оправдывал её дурным влиянием на детей. Теперь он целиком отдаётся своей страсти к созиданию — продаёт старый московский дом, возводит богатейшие палаты на Гороховом поле. И вновь рьяно обустраивает свою обитель, украшая её дорогими гобеленами, картинами старинных и новейших мастеров, уникальными минералогическими и ботаническими коллекциями, книгами. Особую ценность в его огромной библиотеке представляло редчайшее собрание первопечатных изданий XV века.
Среди царской роскоши А. К. заперся один со своими растениями… Из познаний своих он делал то же употребление, что из богатства: он наслаждался им без всякой пользы для других[19], — пишет в «Записках» его современник Ф. Ф. Вигель. Уединение он нарушил лишь по случаю приезда в Москву нового императора Александра I. Вторая столица, как обычно, отмечала пребывание царя бесконечными обедами и балами. На одном из раутов Александр удостоил Разумовского своей беседой. Мы не знаем, о чём они вели разговор, но московская молва быстро разнесла новость: царь весьма впечатлён его блестящим французским языком. Но вероятнее — рассудительность, оригинальность ума и недюжинная эрудиция вельможи, превосходно выраженные по-французски, обратили внимание императора. Он предложил графу вернуться к государственной службе. Надо также учитывать и традицию самодержцев возвращать милость к опальным личностям. Разумовский вежливо отказался.