Принимая участие в игре с Елизаветой, Дадли, встав в позу отставного фаворита, стал ухаживать за Летицией Ноллис (Ноуллз), которая внешне была похожа на Елизавету, может быть, потому, что она была двоюродной племянницей Елизаветы со стороны её матери Анны Болейн. В результате этого лёгкого флирта Роберт Лестер тайно от королевы и двора женился на Летиции Нол-лис, в замужестве графини Эссекс, вдове Уолтера д'Эвре, графа Эссекс. В 1578 году посланник герцога Франциска Анжуйского открыл Елизавете I эту тайну. Разумеется, гнев королевы был уже не шуточным: Легация была сослана подальше от Лондона, а незадачливый фаворит, поступок которого был расценён как предательство, получил хороший нагоняй, вплоть до того, что ему было обещано заключение в Тауэр. Впоследствии, вспомня, что Легация была рядом с ней в тяжелые дни заточения, королева смилостивилась над своей бывшей фрейлиной и вернула ей своё расположение. А Лестер легко сумел доказать влюблённой в него женщине, что всё это «козни против него и гнусная клевета».
Но у галантного красавца графа Лестера, кроме жён, были и другие женщины. Тому свидетельство появление на свет сэра Роберта Дадли, незаконнорожденного мальчика от связи с леди Даглас Шеффилд. Однако это было обычным явлением при королевском дворе, где процветал пышным цветом фаворитизм с его безнравственностью, и потому никого из придворных подобное событие не удивило.
В 1572 году, как повествует предание, граф Лестер женился еще раз, тоже тайно, на вдове богатого английского барона Дугласа Говарда. Однако при дворе утаить ничего было нельзя, слухи дошли до Елизаветы, и она заставила Лестера развестись с его женой.
Через четыре века после происходивших событий, не зная всех существовавших тогда обстоятельств и отношения к королеве и Лестеру со стороны их окружения, невозможно даже предположить, почему Роберт Дадли, граф Лестер, оставался при королеве в течение почти всей своей сознательной жизни, фактически вплоть до своей смерти. Он предстаёт перед нами как персона не менее загадочная, чем его возлюбленная королева, страстно его любившая, но остававшаяся девственницей, притом в условиях всеобщей безнравственности фаворитизма, после далеко не безупречного царствования Марии I, её сводной сестры. Да, она не хотела ни с кем, даже с любимым Дадли, делить королевскую власть, но никто не мог помешать ей и осудить её, если бы она поделила с ним ложе. Видимо, это был её принцип, выделивший Елизавету Английскую из ряда других королев.
Трудно ответить и на вопрос почему Лестер, неоднократно женившись и имея других женщин, предположительно не любя Елизавету, продолжал вести с ней любовный флирт в течение такого продолжительного времени? Надеясь всё же стать королём или боясь потерять голову на плахе? В первом случае у него было достаточно времени, чтобы убедиться, что Елизавета никогда ни с кем не разделит власть, даже с ним, которого любит страстно, как наваждение. А во втором случае он столько раз вызывал её гнев и её слёзы, но всё сходило ему с рук, так что вполне можно было быть спокойным за свою жизнь.
Как фаворит, он не только получал от королевы щедрые дары: сначала звание и должность конюшего, орден Подвязки, самый высокий орден Англии, затем титул графа, несколько подаренных ему замков, дорогие подарки. Королева возвела его в должность смотрителя её резиденции в Виндзоре, что дало возможность им часто видеться. Ему было доверено влиять на придворный мир, быть советником королевы, особенно в деле назначения на должности, а когда Англия в 1585 году вступила в войну, причиной которой были события в Нидерландах, граф Лестер возглавил английские войска и одержал несколько побед. Однако его излишнее тщеславие и непродуманность последствий позволили ему принять предложение голландцев стать генерал-губернатором Республики Соединённых провинций Нидерландов, а это могло быть расценено как государственная измена. За долгие годы общения с королевой Лестер выработал много рецептов избавления от гнева Елизаветы и успешно пользовался ими. А так как оказалось, что принятие им предложения голландцев могло привести к конфликту с Испанией, а затем к долгой войне с нею, он притворился больным и тем самым избежал королевского гнева. Однако избежать войны с Испанией не удалось: её спровоцировал своими флибустьерскими рейдами и грабежом знаменитый пират на службе у английской короны — Френсис Дрейк.
Когда испанцы стали прорываться к Лондону, фавориту Лестеру, возглавлявшему английские войска, было поручено преградить им путь и вести оборону Тилбери. Он справился с этим поручением блистательно, но это был последний вклад Роберта Дадли, графа Лестера, в защиту его родины.