В мае отношения с Каролиной настолько усложнились, что Байрон начал подумывать об отъезде, но не находил в себе душевных сил. Позже он говорил Медвину: «Женщины легко манипулируют мной, и она (Каролина. –
13 июня Байрон вернулся в Лондон. Во время своего отсутствия он был избран членом Лондонского Хэмпденского клуба, реформаторского заведения, состоявшего из либерально настроенных аристократов, таких, как сэр Фрэнсис Бердетт, который и рекомендовал Байрона. Байрон чувствовал себя не в своей тарелке среди инакомыслящих членов клуба. Однако и там он нашел людей, близких ему по духу. Одним из самых активных новичков оказалась леди Оксфорд. К середине июня Байрон и Хобхаус стали частыми гостями на ее балах и вечерах. Красивая и образованная Джейн Элизабет Скотт, графиня Оксфорд, была дочерью приходского священника и росла под влиянием идей Французской революции. Ее пылкое стремление к радикальным социальным изменениям могло сравниться только с увлечением красивыми мужчинами, которые по убеждению или влечению разделяли взгляды графини. Она вышла замуж в 1794 году, в возрасте двадцати двух лет, за Эдварда Харли, первого графа Оксфорда и Мортимера, но вскоре устала от роли светской дамы и полностью посвятила себя реформаторскому движению и его сторонникам. Ее первым любимцем после того, как граф, в юношестве придерживавшийся радикальных взглядов, превратился в благодушного политика и мужа, стал один из парламентских лидеров, сэр Фрэнсис Бердетт. Леди Оксфорд была свободна от условностей и следовала на поводу у своих страстей с готовностью, обычной среди английской аристократии, но с еще большей беспечностью. Принцесса Уэльская, чьей близкой подругой она была в 1812 году, простила ее за то, что графиня «была милостива к сэру Фрэнсису Бердетту», и обвинила лорда Оксфорда, потому что «он оставил такую молодую и красивую женщину на целую неделю в сельском доме с таким привлекательным и смелым джентльменом». Когда леди Оксфорд во всем призналась мужу, «он произнес, что ее откровенность настолько притягательна, что он полностью ее прощает». Леди Оксфорд не было нужды избавляться от столь благодушного и терпеливого мужа.
Так и жила леди Оксфорд, а тем временем плодом ее любовной страсти стал целый выводок красивых детей, отец которых был неизвестен и которых называли «Харлейской смесью», потому что под таким названием были опубликованы в 1744 году некоторые рукописи из библиотеки Оксфордов. Леди Оксфорд уже надоел последний любовник, лорд Арчибальд Гамильтон, когда она встретила Байрона, однако весьма сомнительно, что он, поглощенный интригой с Каролиной Лэм, обратил внимание на «увядшие прелести» женщины, которая, несмотря на свою привлекательность, была на шестнадцать лет старше его.
Возможно, к тому времени Байрона уже представили принцессе Уэльской. Она покровительствовала многим его друзьям, и леди Оксфорд была частой гостьей в Кенсингтонском дворце. В любом случае Байрон разделял симпатии, питаемые вигами к принцессе, чьи взгляды противоречили взглядам принца-регента. Однако, когда появилась возможность встретиться с принцем, Байрон ухватился за нее, как истинный тори. На вечере принц, узнав о присутствии среди гостей автора «Чайльд Гарольда», выразил желание увидеть его. Смущение Байрона исчезло, когда принц заговорил о литературе. Их обоюдное восхищение Вальтером Скоттом уменьшило сдержанность Байрона. Тем не менее он иронически писал об этом разговоре лорду Холланду, потому что не хотел, чтобы его друзья-виги подумали, будто он переметнулся в стан врага.