Французский дипломат М. Корберон рассказывал, что Григорий даже бил не раз государыню, что некто Пиктэ видел своими глазами ее в слезах и что она жаловалась ему на недостаток внимания к ней с его стороны [21, 131].
В любовных связях Григорию предоставлялась полная свобода, Екатерина не ревновала и все прощала своему милому «мальчику» (в дальнейшем государыня поняла свою оплошность и весьма ревниво относилась к заигрываниям фаворитов с другими женщинами).
Сенатор Муравьев, потребовавший развода с женой из-за ее связи с Орловым, был удовлетворен государыней получением земель в Финляндии. Граф Букингем писал: «дамы, за которыми ухаживают Орловы, составляют интимное общество Императрицы», а историк М. Щербатов высказался еще резче: «Орловы совсем приличную стыдливость в женщинах погасили, тем наипаче, что сей был способ получить и милость от Государыни».
Свободное от службы время Григорий, часто против своей воли, проводил за обедами и ужинами, в маскарадах, в театре, на балах и на охоте, за игрой в карты, причем всегда в обществе Екатерины. Его видели в Летнем саду Петербурга шагающим по аллее впереди императрицы, беседовавшей на ходу с графом Н. Паниным, сзади шествовали «две дамы»; вот он во дворце, в зале первого этажа прогуливается с Екатериной и еще с какой-то дамой. Вот он с ней на балу, на охоте…
Порой Григорий увлекался различными опытами, но очень скоро остывал и, не кончив одного, брался за другое. Эти увлечения во многом способствовали его покровительству над учеными.
Екатерина стремилась поднять культурный и образовательный уровень Григория, поставить его вровень с собой, но все как-то не удавалось всерьез его занять, оставалось только прощать его шалости. Она писала: «Природа избаловала его; ему всего труднее заставить себя учиться, и до тридцати лет ничто не могло принудить его к тому. При этом нельзя не удивляться, как много он знает; его природная проницательность так велика, что, слыша в первый раз о каком-нибудь предмете, он в минуту схватывает всю его суть и далеко оставляет за собой того, кто с ним говорит». Однако ответными восторгами Григорий Катеньку не баловал. В одном из писем мадам Жофрен государыня признавалась: «Когда я получила ваше последнее письмо, граф Орлов был в моей комнате. Услышав как вы удивляетесь моей энергии, моим занятиям по изучению законов и по вышиванию, и будучи сам большим лентяем, несмотря на свой глубокий ум и природные дарования, он воскликнул: это правда! Это первая похвала, которую я услышала от него, и ею, мадам, я обязана вам».
Прежний ее любовник, С. Понятовский, удалившийся на родину, в Польшу, и не имевший достаточных сведений о жизни петербургского двора, даже в 1764 г. не оставлял мысли о женитьбе на российской императрице. Когда перед ним встал выбор, соглашаться или отказаться от возможности стать королем Польши, он склонялся к первому главным образом по той причине, что за короля Екатерина могла бы решиться выйти замуж, в то время как при отказе это стало бы невозможным. Понятовский писал ей страстные письма, рвался в Петербург, считая возможным возобновление прежних отношений, но предмет его притяжения отвечал все более и более холодно, а потом и раздраженно, однако истинная причина неприязни Екатерины долго оставалась для него тайной.
Французский посол при петербургском дворе барон Бретейль вследствие отрицательного отношения Орловых к его стране во мнении о Григории расходился со взглядами Екатерины, в 1762 году он писал: «Я не знаю, к чему приведет переписка царицы с Понятовским, но нет никакого сомнения в том, что она выбрала ему заместителя в лице Орлова, которого она возвела в графское достоинство в день своего коронования…Это очень красивый человек. Он был возлюбленным царицы в течение нескольких лет, и я вспоминаю, как она однажды указала мне на него как на смешного и экстравагантного человека. Но затем он заслужил более серьезного отношения к себе с ее стороны. Впрочем, говорят, что он действительно очень глуп. Так как он говорит только по-русски, то мне трудно судить о нем. Но глупость — довольно распространенная черта среди тех, которые окружают теперь императрицу, и хотя она, по-видимому, легко приспособляется к своему обществу, я тем не менее убежден, что она не преминует устранить от себя большую часть этих приближенных. До сих пор она жила только в обществе заговорщиков, которые, за исключением Панина и гетмана, все бедные поручики и капитаны, в общем подозрительные субъекты и завсегдатаи столичных трущоб».
Некоторое время спустя Бретейль пишет: «Несколько дней тому назад при Дворе ставили русскую трагедию, в которой заглавную роль играл, очень неудачно, фаворит. Но императрица была в таком восторге от актера, что она несколько раз призывала меня, чтобы поговорить о нем, обращалась по этому же поводу к графу Мерси, который сидел рядом с ней. По десяти раз в каждой сцене она громко заявляла ему о своих восторгах по поводу благородства и красоты Орлова».