Байрон находил удовольствие и забвение в поздних посиделках за бренди с Киннэрдом и другими друзьями. Но даже это надоело. 31 октября он написал Муру: «Вчера я ужинал в большой компании с Шериданом и Коулманом, Дугласом Киннэрдом и другими скандально известными личностями. Час или два все шло просто прекрасно…» После пирушки ему с Киннэрдом пришлось вести Шеридана по «чертовой кривой лестнице» и доставлять его домой. На следующий день Байрон проснулся с головной болью.
Аннабелла, которая не в состоянии была смириться со столь бурной жизнью супруга, высказывала свои опасения Августе: «Его несчастье состоит в постоянной тяге к приключениям, которая всегда встречается у людей с бурным темпераментом, чьи страсти не укладываются в одно определенное русло. Скука монотонного существования вынуждает лучших людей ступать на самые опасные дорожки, и кажется, что порой они действуют из самых худших побуждений, в то время как они просто стремятся избежать внутренних страданий посредством переключения на внешние стимулы. Именно из этого источника вырастает любовь к мучению окружающих».
В начале ноября случилось неизбежное: в доме появился судебный пристав. Байрон сходил с ума от гнева и раздражения. Он уже продал мебель в Ньюстеде, а теперь должен был расстаться с бесценными книгами. И все же его собственность оценивалась суммой в более чем тысячу фунтов. Позднее Байрон говорил Медвину, что «началась конфискация, и судебные приставы завладели даже кроватями, на которых мы спали». Хотя леди Байрон считала пристава «несчастным негодяем», Байрон впоследствии даже подружился с ним, что помогло ему легче перенести свалившееся на него несчастье.
Бедная Аннабелла, полагавшая, что хорошо знает Байрона, пыталась свести его поведение и слова к одной четкой формуле и в результате этого не сумела найти простейших объяснений его поведения. Она полагала, что он безумен, в то время как он, подобно испорченному ребенку, давал выход своему раздражению и, словно ребенок, хотел прощать и быть прощенным после того, как вспышка гнева проходила. Леди Блессингтон после короткой встречи с Байроном мудро заметила: «Он кажется одним из самых легкоуправляемых людей на свете. Хорошо бы леди Байрон удалось раскрыть этот секрет». Слуга Байрона Флетчер, который знал все настроения своего хозяина и был свидетелем его отношений с различными женщинами, с наивной мудростью заметил: «Очень странно, но я никогда не видел женщину, которая не могла бы справиться с моим господином, кроме моей госпожи». Байрон сказал леди Блессингтон, что Аннабелла «наделена непревзойденным самообладанием… Однако оно производило на меня совершенно противоположное действие. Когда я срывался по малейшим пустякам, ее спокойствие уязвляло меня и было похоже на упрек…».
Удивительно, но, даже испытывая постоянный стресс, Байрон был в состоянии вести остроумную переписку. Меррей, не знавший о мучениях, которые испытывал Байрон и заставлял испытывать других, написал Вальтеру Скотту: «Лорд Байрон чувствует себя превосходно и находится в отменном расположении духа, каждый день ожидая появления сына и наследника». На самом деле Байрон чувствовал себя словно в западне. У Аннабеллы были дурные предчувствия. Когда к ним зашел Хобхаус, она была уверена, что он затевает какую-то интригу с целью увезти Байрона на континент, потому что он в приступе меланхолии однажды заявил, что уедет за границу, как только родится наследник, «потому что женщина всегда больше любит ребенка, чем мужа». Приняв, как обычно, его слова всерьез, Аннабелла резко ответила: «Если ты будешь так говорить, то заставишь меня возненавидеть нашего ребенка».
Испытывая горечь и раздражение от присутствия в доме судебного пристава, Байрон решился продать библиотеку. Аннабелла согласилась, потому что ей было больно видеть «его страдания». Он уже договорился с продавцом книг, когда слух дошел до Джона Меррея, который немедленно прислал Байрону чек на полторы тысячи фунтов с припиской, что через неделю предоставит в его распоряжение такую же сумму. Однако гордость не позволила Байрону принять деньги. Он ответил: «Я возвращаю ваш чек нетронутым, но это не значит, что ваш порыв не оценен мной по достоинству».