Та ночь и каждая последующая были кошмаром для Аннабеллы. Байрон хотел оставаться с Августой после того, как его жена ложилась спать. Если она медлила, он находил особую радость в том, чтобы оскорблять ее, вынуждая уйти: «Ты нам мешаешь, моя очаровательная». Жестокость Байрона коснулась и Августы после того, как он понял, что она не собирается возобновлять их близких отношений. Раздражение вынудило его делать грубые намеки на прошлое, которые шокировали Аннабеллу, и «порой даже Августа выглядела испуганной». По утрам он приветствовал сестру, говоря о ее «знойном темпераменте» или об их жизни в Ньюстеде.
Аннабелла очень испугалась, когда однажды Байрон вернулся в спальню и, раздеваясь, начал ругать слугу Флетчера, а когда во сне она прижалась к нему, он разбудил ее криком: «Не прикасайся ко мне!» Аннабелла не приняла во внимание, что тогда Байрон был пьян. Она никогда не научилась, подобно Августе, пользоваться советом Байрона, который он дал, находясь в трезвом состоянии, – не придавать большого значения его словам. Горе Аннабеллы было неподдельным, и Августа искренне сочувствовала ей и была к ней чрезвычайно добра, «казалось, у нее не было другого намерения, кроме как загладить его жестокость», признавалась Аннабелла. Августа пыталась научить молодую жену, как управляться с Байроном. Его негодование по отношению к ним обеим укрепило понимание между супругой и сестрой.
В период депрессии Байрон испытывал неодолимое желание мучить обеих женщин. Отговорки одной и мученическая невинность другой раздражали его, препятствовали естественному стремлению к добрым поступкам. Байрон пил, чтобы забыться, и становился еще более несдержан в разговоре. Аннабелла писала в своих воспоминаниях, сделанных большей частью стенографически: «Он говорил: «Я знаю, ты носишь панталоны» или «Августа носит их» тоном абсолютно недвусмысленным… В поместье он разговаривал со мной меньше, чем обычно, но к концу нашего пребывания там возобновил свои беседы без всякого, однако, чувства любви ко мне и в те последние дни назвал причину такой перемены, не очень-то приятную для меня. Я слышала от А., что она сама чувствовала себя не очень уютно. Как-то раз он хитро сказал ей утром, вероятно намекая на прошлый вечер: «Итак, ты отказываешься, Гасс».
Причина раздражения Байрона становилась понятной из грубых намеков, но даже Аннабелла почувствовала, что Августа не поддалась его преступным желаниям, хотя «речи и поведение Байрона убедили бы любого другого человека». Неудивительно, что к концу второй недели обе женщины мечтали освободиться от тягостного соседства. Байрон не хотел уезжать, но наконец 28 марта семейная пара отправилась в Лондон. Когда карета отъехала от дома, Байрон оглянулся и долго и нежно махал Августе рукой.
Перед отъездом Байрон как бы между прочим написал Муру, что «у леди Байрон, кажется, появились признаки беременности. Я не очень волнуюсь насчет этого, думаю, что рождение ребенка обрадует ее дядюшку, лорда Уэнтворта, и ее родителей». Вне всякого сомнения, Аннабелла была счастлива уехать и надеялась, что в их собственном доме жизнь наладится. Возможно, Байрон проявит больше нежности и к будущему ребенку.
Настроение Байрона и вправду переменилось, как только они добрались до столицы и поселились в доме герцогини Девоншир, хотя суеверному поэту мог не понравиться адрес – Пикадилли-Террас, 13. Аннабелла вспоминала, что «десять дней он был добрее, чем когда-либо». Хобхаус, отдоживший поездку за границу, чтобы увидеться с другом, зашел на следующий день (Наполеон только что совершил побег с Эльбы, и Хобхаус мечтал увидеть волнения в Париже). Ночью он записал в своем дневнике, что Байрон «советует мне не жениться, хотя у него и лучшая из жен».
Скоро дела и издание книг завладели вниманием Байрона. Кроме переговоров с Хэнсоном о судьбе Ньюстеда, ему приходилось встречаться с Киннэрдом, который помогал издавать «Еврейские мелодии», и с Мерреем, который с нетерпением ожидал других произведений Байрона, – со дня женитьбы поэт написал совсем мало. Литературная репутация Байрона по-прежнему была высока. Во время Пасхальной недели Сэмуэль Тейлор Кольридж прислал ему длинное и хвалебное письмо с просьбой помочь найти издателя. Он не обиделся на сатиру Байрона «Английские барды…» и намекнул, что будет очень благодарен за рекомендацию Меррею. Байрон ответил, что с радостью займется просьбой Кольриджа, просил автора «Раскаяния» написать еще какую-нибудь драму и извинялся за свою сатиру: «Часть, касающаяся вас, бесстыдна, пуста и вздорна…»