Мур к тому времени покинул Лондон, а Байрон собирался в Ньюстед, подумывая заглянуть к Мэри Чаворт, которая написала ему больше пятидесяти писем и вызвала в его памяти воспоминания, не исчезающие, несмотря на все усилия их подавить. Но в начале июня Байрон уже позабыл о Мэри. Теперь он лелеял дорогое воспоминание в своей памяти и одновременно желал и боялся встречи с этим волшебным видением. Безопаснее всего было переписываться, вспоминая о прошлом. Кроме того, рядом появился некто привлекательный. У герцога Грея Байрон встретил леди Шарлотту Левесон Гауэр, подругу Августы. Он уверял себя, что заинтересовался ею из-за Августы, но Шарлотта была молода, очень красива и застенчива, как газель, а именно это Байрон больше всего ценил в женщинах. Однако препятствием был один «из племени Карлайлов», а Байрон не желал ссориться со своим опекуном.
Каролина Лэм вновь напомнила о себе. Дружелюбное поведение Байрона на светских балах убедило ее, что ей удастся вновь завоевать его. Каролина понимала, что, встретившись с ней лицом к лицу, Байрон не сможет повести себя жестоко. Леди Мельбурн тоже это знала и не на шутку тревожилась. Каролина не знала про другие увлечения Байрона, но, ослепленная ревностью и его холодностью, продолжала терзать своего бывшего возлюбленного. В июне она в любое время суток приходила к нему домой без предупреждения. Страдания Байрона усиливались еще и оттого, что, несмотря на крайнюю худобу, она по-прежнему притягивала его. Каролина очень исхудала, и Байрон часто говорил, что «его преследует скелет». Он уверял леди Мельбурн, что «ежечасно и ежедневно он использует все замки и задвижки, чтобы препятствовать приходу Каролины». Однако этих предосторожностей было недостаточно. Однажды Каролина пришла к Байрону домой в его отсутствие, взяла со стола книгу Бекфорда «Ватек» и написала на первой странице: «Помни меня!» Когда Байрон увидел надпись, то в раздражении приписал:
Однако Каролина не собиралась отступать. Несмотря на неприязнь к герцогу Веллингтону, 1 июля Байрон все же вместе с Хобхаусом отправился на великолепный бал-маскарад в честь герцога в Берлингтон-Хаус. Там собрались все сливки общества и некоторые представители полусвета, скрывающиеся под масками. Байрон в костюме монаха был крайне раздражен выходками Каролины, которая угрожала ему разоблачением, и он «отчитывал ее, как старый дед», за то, «что везде показывала свои зеленые панталоны».
Вероятно, последняя встреча Каролины с Байроном состоялась незадолго до бала. На слова Каролины нельзя полагаться полностью, хотя и в ее утверждениях есть доля истины. В 1824 году она написала Медвину: «…в последний раз мы расстались навсегда, и когда он прижался губами к моим – это было у него дома, – то произнес: «Бедная Каро, если кто и ненавидит меня, так это ты, и твои чувства останутся неизменными из-за моего плохого отношения!» Я сказала: «Нет, я изменилась и больше никогда не приду к тебе». Он показал мне свои письма и сказал такое, чего я не могу повторить, после чего вся моя любовь умерла». Последнее утверждение явно неискренне, потому что Каролина продолжала преследовать Байрона, и ее чувство к нему продолжалось всю жизнь. Возможно, в отчаянии он показал ей письма Августы и в припадке гнева рассказал ей о своем увлечении мальчиками, в частности Раштоном, потому что позже обо всем этом Каролина поведала леди Байрон.
На второй день после маскарада, 3 июля, Байрон уехал в Сикс-Майл-Боттом. Он не виделся с Августой с начала апреля, еще до рождения ее дочери Медоры. Байрон не любил «плачущих и икающих младенцев», которые все пачкали и постоянно хныкали. Через три дня Байрон отправился в Кембридж, где распил немало бутылок вина с Хобхаусом и Скроупом Дэвисом. В Лондоне он в отчаянии тщетно пытался уладить дела с Клотоном и Хэнсоном, которые затягивали переговоры. «Я словно продавец свиней на мусульманском базаре, – писал он Муру, – если бы у меня были жена и дети, насчет отцовства которых я испытывал бы сомнения, я бы мог стать счастливым или, по крайней мере, довольным, как Кандид или Скарментадо».