Несмотря на то что Разумовский предпочитал не вмешиваться в политику, именно через него пытались действовать вельможи, стремившиеся заручиться благосклонностью Елизаветы. Влияние Разумовского на императрицу использовал в своих многоходовых придворных комбинациях и хитроумный канцлер Бестужев-Рюмин. Крайне решителен был Разумовский в тех случаях, когда покровительство императрицы требовалось духовенству или украинскому народу, его землякам. Тронутая его участием к ним, Елизавета посетила Малороссию летом 1744 г. и получила там великолепный и весьма радушный прием. Часть пути до Киева согласно данному ею обету она прошла пешком, по свидетельствам современников. Утверждали, что поездку в Малороссию царица предприняла для того, чтобы лично познакомиться со всей родней Разумовского, и поэтому некоторое время прожила в его доме в городе Козельце. Родная сестра Алексея, Вера, вышла замуж за полковника малороссийской армии Е. Дарагана. Ей был пожалован дом в Петербурге, а ее дети и племянники воспитывались за казенный счет за границей. Малороссийские казаки подали через Разумовского просьбу о восстановлении гетманства на Украине, и в результате оно было санкционировано государыней. Гетманом стал брат фаворита Кирилл Разумовский. Впрочем, Кирилл понимал, что историческое значение гетманства уже миновало, и формально передал дела Сенату. В 1744 г. Разумовскому был присвоен титул графа Римской империи. В документах указывалось, что Разумовские происходят от польского шляхтича Романа Рожинского и соответственно являются потомственными дворянами. Вскоре и Алексей, и Кирилл Разумовские были пожалованы титулами графов, но уже Российской империи. После этого совершенно естественно Алексей Разумовский стал фельдмаршалом. В ноябре 1745 г. А. Разумовский был произведен в капитан-лейтенанты лейб-компании. Он получил землю и мызы, принадлежавшие ранее знаменитому петровскому временщику А. Д. Меншикову. В 1748 г. Алексей Разумовский стал подполковником конной гвардии. Он сохранил исключительное положение при дворе, хотя в последние годы жизни императрицы место ее фаворита занял генерал-адъютант Иван Шувалов. Разумовский тем не менее продолжал оставаться ее доверенным лицом и другом-советчиком. После смерти императрицы Разумовский жил в своем доме в Москве. Незадолго до своей кончины, по свидетельству графа М. И. Воронцова, Разумовский сжег все документы о своем браке с Елизаветой, предварительно зачитав их вслух. Тем самым он подтвердил свое высокое положение и обезопасил себя от возможного преследования со стороны императрицы Екатерины II. Та назвала его «самоотверженным и почтенным стариком» и больше к этому вопросу не возвращалась.
С тайным браком императрицы Елизаветы Петровны и Разумовского связана также история про воспитывавшихся за рубежом их детей – князей Таракановых. Одним из свидетельств этого считают то, что заботливый дядюшка, Алексей Григорьевич, пестовал за границей (в Швейцарии) своих малолетних племянников с фамилиями Дараган (Дарагановы), Закревские и Стрешенцовы. Сведения о благородном происхождении детей распространял их гувернер Дидель. Существуют еще несколько версий о потомках Елизаветы и Разумовского. Так, в Европе в последней четверти XVIII в. объявилась авантюристка, называвшая себя то принцессой Елизаветой, дочерью императрицы и Разумовского, то султаншей Алиной (Али-Эмете), Элеонорой, княжной Владимирской и Азовской и сестрой Емельяна Пугачева. Необоснованные претензии на российский престол привели ее к заключению в Петропавловскую крепость. Даже при жизни Разумовского распространялись слухи, что все дети его и Елизаветы были еще в юном возрасте навечно определены в монастырь. Такие домыслы приходили из разных городов России. Так, в нижегородской слободе Пучеж долгое время проживала некая Варвара Мироновна Назарьева, которую местные жители считали дочерью императрицы и Разумовского. Она прожила инокиней при Пушавинской церкви до 1839 г., пользуясь всеобщим почетом и уважением.