Современники оставили о Г. Орлове самые противоречивые сведения. Князь М. М. Щербатов, отрицательно отзывавшийся обо всех фаворитах императрицы, для Орлова сделал исключение. До вхождения в «случай» он слыл забиякой, картежником, кулачным бойцом и участником шумных забав, но став фаворитом императрицы, остепенился и, несмотря на отсутствие талантов государственного деятеля, заслужил похвалу за некоторые добродетельные черты характера: обретя влияние на императрицу, он никому не мстил, отгонял от нее льстецов, разыскивал достойных сотрудников, которых считал возможным возвышать по заслугам, сообщал ей горькую правду. Похвал Щербатова Орлов заслужил и за воздержание от роскоши: его дом даже после того, как он стал князем, был обставлен скромной мебелью. «Но, — продолжал Щербатов, — все его хорошие качества были затмены его любострастием». Распутство его выражалось в сожительстве почти со всеми фрейлинами и в растлении своей тринадцатилетней двоюродной сестры Екатерины Загряжской; хотя он и женился на ней после отставки, «но не прикрыл тем порок свой».
Сведения Щербатова о распутном образе жизни Орлова перекликаются с отзывом французского посланника Дюрана: «Природа сделала его не более как русским мужиком, таким он и остался до конца. Он развлекается всяким вздором; душа у него такова же, каковы у него вкусы. Любви он отдается так же, как еде, и одинаково удовлетворяется как калмычкой или финкой, так и самой хорошенькой придворной дамой. Это прямо бурлак»
[378].Английские дипломаты относились к фавориту в общем доброжелательно. Так, граф Бекингем доносил в Лондон в 1763 году: «Наружность графа Орлова чрезвычайно замечательна». Хотя его положение при дворе, по мнению английского посла, укреплялось с каждым днем, но из его же депеши, чуть раньше отправленной, явствует, «что он не вмешивается в дела государственные, однако его императорскому величеству приятно всякое внимание, ему оказываемое»
[379]. Схожий отзыв находим в донесении другого английского посла, лорда Каскарта, относящемся к 1768 году: «Граф Орлов роста гораздо выше обыкновенного, манеры его ловки и изящны, а наружность его выражает скромность и доброту». По словам того же лорда, высказанным год спустя, Орлов «употреблял большие усилия для своего образования с тем, чтобы иметь возможность в различных частях правления приносить пользу императрице и отечеству». Способности фаворита Каскарт тоже оценивал достаточно высоко: «императрица соображает весьма быстро, граф Орлов медленнее, однако весьма способен правильно обсудить отдельные предложения, хотя не может связать несколько различных мнений».Благожелательное отношение английских дипломатов к Орлову, видимо, объяснялось услугами, оказанными им фаворитом. Лорд Каскарт в 1770 году доносил, что «граф Орлов при всяком удобном случае оказывает мне совершенно особую и радушную внимательность». В другом донесении он называл Орлова «горячим сторонником Англии». Сменивший Каскарта Гуннинг связывал падение Орлова с нанесением ущерба английским интересам в России: «Я имею полное основание считать немилость графа Орлова большой потерей для нас».
Как бы ни относились английские дипломаты к фавориту, от их внимания все же не ускользнула его ограниченность. Так, Орлов, будучи членом учрежденного Екатериной в 1768 году в связи с русско-турецкой войной Императорского совета, мог обнаружить способности к государственным делам, но их не проявил. Фаворит присутствовал на заседаниях совета, высказывал мнения по поводу обсуждавшихся вопросов, но не личные, а императрицы, от которой получал соответствующие наставления. Так во всяком случае оценивал роль Орлова в Императорском совете Гуннинг. Граф Н. И. Панин тоже придерживался невысокого мнения об участии Орлова в работе Императорского совета. Если Гуннинг считал его рупором императрицы, то Панин, делясь своим мнением с прусским послом Сольмсом, многократно подчеркивал, что присутствие Орлова в совете вредно, ибо он часто, высказывая свои личные мнения, ставил в затруднительное положение остальных участников заседания, ибо они были столь же смелыми, как и нелепыми, но принуждали оспаривать их с большой осторожностью.
Гуннинг считал причиной утраты фаворитом влияния на императрицу его леность. Екатерина, доносил он в Лондон в 1772 году, «желала и намеревалась образовать его, если возможно, для занятия делами и в случае успеха доверить ему министерство иностранных дел; но совершенное отсутствие в нем трудолюбия заставило ее отказаться от этого намерения». Преодолеть леность уговаривал фаворита и его брат Алексей Орлов, но достичь этого не удалось ни ему, ни императрице, что не мешало ей высоко оценивать его добродетели.