30 ноября Байрон прибыл в «Баттс-отель» на Дувр-стрит и обнаружил, что его финансовые дела находятся в ужасающем состоянии. Клотон продолжал оттягивать обещанную выплату за Ньюстед, но в конце концов согласился выплатить 5000 фунтов, часть из которых пошла на уплату давнишнего долга Скроупу Дэвису. Байрона осаждал Ходжсон, обвиняя своего старого друга в забывчивости и умоляя его немедленно одолжить 500 фунтов. Уладив денежные дела с Мерреем, который переехал с Флит-стрит на Элбермарл-стрит, 50, недалеко от Пикадилли, где и сейчас его потомки продолжают его книгопечатное дело, Байрон за неделю до Рождества вновь направился в Айвуд.
Нелепые выходки Каролины утомили Байрона. «Я начинаю подумывать, что она действительно сумасшедшая, иначе было бы немыслимо сносить все ее выходки», – писал он леди Мельбурн. В Айвуде, по словам Байрона, «все было спокойно и безмятежно: никаких сцен, много музыки, веселье, и каждый день все больше отдалял меня от Каролины». А впереди было еще много приятного. «Мы поговариваем о поездке на Сицилию весной…» В случае неудачи Байрон решил вновь отправиться на Восток с Хобхаусом. Любовь к Востоку была подобна лихорадке, постоянно живущей у него в крови, которая могла вспыхнуть с новой силой при любом воспоминании.
Оглядываясь на год, принесший ему известность, Байрон не мог вспомнить ничего более счастливого, чем дни, проведенные в Айвуде. В последний день года он писал леди Мельбурн, восхваляя свою «Армиду»: «Не стану утомлять вас перечислением всех ее достоинств, скажу лишь, что я ни разу не зевнул за все два месяца, проведенные под ее крышей, – нечто поразительное в моей жизни».
В начале 1813 года жизнь в Айвуде стала еще приятней. В начале января лорд Оксфорд уехал в Лондон, и Байрон две недели провел с леди Оксфорд и ее красивыми детьми. 2 января он отправил через Хобхауса письмо к Хэнсону с просьбой выделить сотню гиней, чтобы заказать портрет своей возлюбленной, и втайне от всех переслать их Меррею. Два дня спустя он писал леди Мельбурн: «Мы живем без ссор и всяких неприятностей, у нас очень мало гостей и никаких жильцов, только книги, музыка и тому подобное». Позднее Байрон вспоминал, что в Айвуде леди Оксфорд сказала ему: «По-моему, весь месяц мы жили как боги Лукреция». И Байрон добавил: «Так и было».
Тем не менее мирное существование в Айвуде нередко нарушалось весьма беспокойным образом. Каролина Лэм была серьезно настроена заставить Байрона заплатить за пренебрежение к своей особе. Он перестал ей писать, однако это не остановило поток ее красноречия. Каролина сообщила, что на пуговицах своей пажеской ливреи выгравировала слова «Не верь Байрону». Кроме того, она подделала письмо Байрона, чтобы получить от Меррея портрет своего бывшего возлюбленного, который, в свою очередь, заказала леди Оксфорд.
Когда в конце января Байрон вернулся в Лондон, то снял комнаты на Беннет-стрит, 4, неподалеку от Сент-Джеймса, и продолжал наслаждаться благосклонностью леди Оксфорд. Он также вращался в обществе принцессы Уэльской и ее приближенных. Поначалу ему было немного скучно с принцессой, и он был уязвлен поведением леди Оксфорд, которая ввела его в этот круг. В райский уголок Айвуда уже проник змей. Позднее Байрон говорил Медвину: «Мне невыносимо расстаться с ней, даже теперь, когда я знаю, что она была неверна мне». В Лондоне леди Оксфорд обратила внимание на других блестящих молодых людей. Это вошло у нее в привычку. Но Байрон слишком долго наслаждался ее безраздельным вниманием, чтобы отнестись спокойно к новым увлечениям своей возлюбленной. А у леди Оксфорд могли быть свои причины для ревности и разочарования. Если верить поздним «заявлениям» леди Оксфорд, то ее друг признал, хотя надо заметить, что он часто преувеличивал свои прегрешения, чтобы напугать ее, будто однажды леди Оксфорд «застала его, когда он заигрывал с ее тринадцатилетней дочерью, и пришла в неописуемую ярость».
Принцесса вскоре заметила трещину в идиллических отношениях «Армиды и Ринальдо». Своей придворной даме она писала: «Бедняжка леди Оксфорд на этот раз влюблена сильнее, чем обычно. Как-то вечером она была у меня и плакала в приемной: так лорд Байрон был суров с ней».
Но, ближе сойдясь с принцессой и перестав чувствовать отчуждение в ее обществе, Байрон завоевал ее сердце своим обаянием и веселостью. Возможно, его привлекли ее несвойственные аристократам естественность, прозаичность. Принцесса же пришла к выводу, что «он совсем другой, когда окружен людьми, которые нравятся ему и которым он сам нравится…».