При крещении ребенка нарекли Августой Адой. Второе имя было фамильным именем Байронов в правление короля Иоанна, кроме того, он находился под впечатлением того, что это было имя сестры Карла Великого, а также упоминалось в Книге Бытия (Ада, жена Ламеха). Через некоторое время девочку стали называть только вторым именем. Но несмотря на то, что Байрон гордился дочерью, это не сблизило его с Аннабеллой, как она тщетно надеялась. Его несуразные выходки стали еще резче после рождения ребенка. Позднее он писал об Аде:
Байрон признавался Хобхаусу, что денежные дела доводили его «до безумства. Если бы я не был женат, то относился бы к ним легко». И еще: «…моя жена – само совершенство, лучшая женщина в мире, но заклинаю тебя, не женись», – добавлял он.
Вполне возможно, что Байрон не полностью осознавал, какое впечатление производит на впечатлительную Аннабеллу его поведение в моменты раздражения, когда он бывал пьян или выходил из себя. В приступе гнева он разбил вдребезги часы, которые носил с юношеских лет и брал с собой в Грецию. Позднее он признался лишь в одной грубой выходке по отношению к жене, хотя их могло быть и больше. Однажды, когда Байрон уже не мог выносить денежные затруднения, он вошел в комнату, где Аннабелла стояла у камина, и она спросила: «Я тебе мешаю?» Байрон говорил Хобхаусу: «Я ответил: «Да» – с особенным упором. Она разрыдалась и вышла из комнаты. Как можно быстрее я поднялся по лестнице («Бедняга, – заметил Хобхаус, – всем известно, что он хромой») и униженно просил у нее прощения. Это был единственный раз, когда я был с нею по-настоящему груб».
Трудно понять чувства Аннабеллы и ее мысли по поводу происходящих событий из последующих записей, однако очевидно, что развязка наступила 3 января 1816 года, когда Байрон зашел в ее комнату и с «потрясающей яростью» заговорил о своих связях с актрисами. Возможно, он уже прежде обсуждал с женой необходимость отказаться от дорогой квартиры на Пикадилли и переехать за город. Она должна была отправиться первой, пока он будет улаживать дела в Лондоне. 6 января Байрон написал Аннабелле записку, воздержавшись от встречи с ней, чтобы избежать сцен. Он просил ее назначить день ее отъезда в Керкби, куда ее пригласили родители. «Поскольку мне очень важно уехать из нашего дома, то чем быстрее ты назначишь день, тем лучше, хотя, безусловно, я в первую очередь приму во внимание твои желание и удобства. Естественно, ребенок поедет с тобой…»
Из истории Байрона, рассказанной Хобхаусу, следовало, что «жена была очень обижена этой запиской, вскоре после этого произошла ссора, но небольшая, и Аннабелла объявила, что полностью согласна с условиями. Она сама сделала попытку к примирению, назначив день своего отъезда».
Однако Байрон не знал всего, что происходило в душе внешне спокойной Аннабеллы. Она была убеждена, что ее муж сошел с ума. Ей удалось достать экземпляр «Медицинского журнала», в котором было описание водянки головного мозга, что, по ее мнению, могло быть причиной поведения Байрона. Она посчитала своим долгом осмотреть его вещи и письма и выявить в нем «особенности и признаки, являющиеся доказательствами данной болезни». Среди прочих вещей Аннабелла нашла маленькую бутылочку настойки опия и копию запрещенного романа маркиза де Сада «Жюстина». После этого, по словам Хобхауса, она «вывела заключение, касающееся поведения лорда Байрона, включая его слова, и особенностей внешнего вида и манер», о чем и поведала доктору Бэйли, который по ее просьбе пришел в дом и осмотрел найденные доказательства, но не сумел дать определенного ответа.
Аннабелла была так уверена в своем диагнозе, что попросила Хэнсона о встрече и прислала ему статью из журнала и свои комментарии. Хэнсон боялся, что у нее появились планы избавиться от мужа, и он спросил, есть ли у нее основания бояться за себя. Она ответила: «Нет, совершенно никаких, я всегда могу справиться с ним!» Хэнсон, давно знавший Байрона и привыкший к его странному поведению, убедил Аннабеллу, что «ее муж подвержен раздражению и, возможно, внезапным вспышкам агрессии и гнева и что он имеет привычку говорить такие вещи, о которых даже нельзя упомянуть в письме…».