Шелли, Мэри и Клер уехали в Англию 29 августа. Байрон вручил Шелли рукописи (переписанные Клер) третьей песни «Чайльд Гарольда», «Шильонского узника» и других коротких поэм, сочиненных летом. В тот же день Байрон, Дэвис, Хобхаус и Полидори отправились в Шамуни. На одном из постоялых дворов Байрон заметил, что Шелли, останавливавшийся здесь в прошлый раз, написал под своим именем по-гречески слово «атеист». Понимая, что это могут увидеть другие англичане, Байрон сказал Хобхаусу: «Как ты думаешь, я окажу Шелли услугу, если сотру это?» И он стал тщательно стирать написанное. Однако Шелли написал то же самое по меньшей мере на трех постоялых дворах, и английские путешественники, включая Саути, все видели и устроили скандал. После этой поездки Скроуп Дэвис направился в Англию, увезя с собой Роберта Раштона и несколько рукописей.
От своих гостей Байрон узнал несколько сплетен о себе, которые ходили на родине, и написал Августе письмо, чтобы успокоить ее: «…что до всех этих «любовниц», то, да поможет мне Бог, у меня была только одна. Не сердись, что я мог поделать? Глупая девчонка, несмотря ни на что, ездила за мной. Я исчерпал все доводы, пытаясь убедить ее вернуться домой, но наконец она уехала». Однако тоска Байрона была вызвана другими причинами: «…она (леди Байрон), а точнее, расставание с ней разбили мое сердце. Такое чувство, словно на него наступил слон». Если бы Байрон знал, на каких условиях его сестра переписывается с его женой, то ему стало бы еще тяжелее.
Несмотря на внешнюю податливость и данное леди Байрон обещание, Августа продолжала переписываться с братом. Она вела себя так неопределенно, что Аннабелла хотела встретиться с ней и услышать всю правду. 31 августа она ездила в Лондон и несколько раз виделась с Августой. Аннабелла добилась того, чего хотела. Она восторженно писала миссис Вилльерс: «Я увидела все, о чем могла только мечтать: ее покорность и вину. Она сама показала мне его письма к ней, которые она до этого скрывала только из-за обиды на меня. Это настоящие любовные письма, и она хочет знать, как заставить его прекратить писать…»
Миссис Вилльерс продолжила увещевать Августу. «Я сказала ей, – писала она леди Байрон, – что она не должна обмениваться с ним ни единым письмом, запиской или словом, не сообщив об этом вам, потому что вы будете ее ангелом-хранителем…» Августа, верная своему слову, писала Аннабелле: «…я горю желанием загладить все последствия… Буду писать Б. по вашему совету, мой ангел-хранитель!»
Байрон почувствовал, что кто-то или что-то удручает Августу, но полагал, что это происки Каролины Лэм, и даже и помыслить не мог, что его письма читает женщина, обладающая «непреклонными моральными принципами». Вероятно, в это время Байрон понял, что переговоры о примирении через мадам де Сталь ни к чему не привели, потому что печаль при известии о болезни жены сменилась злостью, и он сочинил горькие «Строки, написанные после известия о болезни леди Байрон», обвиняя Аннабеллу в «непреклонности» и называя ее «моральной Клитемнестрой своего супруга».
Перед отъездом в Бернские Альпы вместе с Хобхаусом Байрон решился дать отставку доктору Полидори. Они расстались друзьями. Байрон говорил Меррею: «Он безвредный малый, но постоянно попадает в переделки и слишком молод и беспечен…» Позднее он сказал: «Мне было жаль расставаться с ним, потому что я быстро привязываюсь к людям…»
17 сентября Байрон и Хобхаус тронулись в путь. Байрон решил вести путевой журнал для сестры. Ее уверения в неизменной доброте леди Байрон терзали его, и он написал: «О ней ты суди сама, но не забывай, что она погубила твоего брата… Каким дураком я был, когда женился, да и ты поступила не очень мудро, моя милая, мы могли бы счастливо прожить вместе, подобно старым девам и холостякам. Я никогда не найду никого, похожего на тебя, а ты, как ни тщеславно это звучит, не найдешь никого лучше меня. Мы созданы друг для друга, и все же мы, по крайней мере я, волею обстоятельств разлучен с единственным существом, которое любило меня и к которому я чувствовал сильнейшую привязанность».
Горный пейзаж поразил воображение Байрона, в точности соответствуя его мрачному настроению. Пастухи, извлекавшие скорбные звуки из своих свирелей, звон коровьих колокольчиков, шумящие водопады были словно бальзам для его души. Байрон записал в путевом журнале: «Прибыли к подножию горы (Юнгфрау, что значит «Дева». –
Исполинские горы вознесли дух Байрона на восторженные, но мрачные высоты. «Слышал сход лавин почти каждые пять минут, словно Бог изгонял дьявола из рая снежными потоками». В этот день Байрон закончил описание путешествия такими словами: «Видели целые леса высохших сосен; стволы без коры, искореженные, ветви безжизненные. Все это сделала одна зима; они напомнили обо мне и моей семье».