Истинные причины развода супругов Байрон навсегда остались загадочными, хотя Байрон говорил, что «они слишком просты, и потому их не замечают». Публика не хотела объяснить развод той простой причиной, что люди не сошлись характерами. Леди Байрон отказалась сообщить причины развода, и потому причины эти в воображении публики превратились во что-то фантастическое, и все наперебой старались видеть в разводе преступления, одно ужаснее другого (ходили слухи о бисексуальной ориентации поэта и о его любовной связи с собственной сестрой).
Опубликованные в XX веке дневники Байрона раскрывают картину половой жизни поистине пансексуальной. Так, портовый городок Фалмут поэт описывал как «прелестное место», предлагающее «многочисленные и разнообразные половые сношения»: «Нас окружают Гиацинты и другие цветы самого ароматного свойства, и я намерен собрать нарядный букет, чтобы сравнить с экзотикой, которую мы надеемся встретить в Азии. Один образец я даже возьму с собой». Этим образцом оказался юный красавец Роберт Раштон, который «был у Байрона пажом, как Гиацинт — у Аполлона». В Афинах поэту приглянулся новый фаворит — пятнадцатилетний Николо Жиро. Турецкие бани Байрон описывал как «мраморный рай шербета и содомии».
В 1816 году Джордж Байрон покинул Англию окончательно. Он покинул родную страну на фоне кривотолков относительно непозволительно близких отношений с единокровной сестрой Августой.
К этому времени поэт успел не только выпустить третью часть «Чайльд-Гарольда» и еще десяток стихотворений, но и помимо развода с женой, заработать нелестную репутацию и вызвать зависть всех, кто считал себя поэтом, но недотягивал до славы Байрона.
Мать Джорджа Байрона к тому моменту уже ушла из жизни. Поэтому поэт смог спокойно продать родовое имение Ньюстед, что позволило ему на время забыть о материальных трудностях. Байрон поселился в тихой швейцарской деревеньке, из которой изредка выбирался на экскурсии по стране. Именно на берегу швейцарского озера 16 июня 1816 года и произошло одно очень важное событие.
Более 200 лет тому назад, 16 июня 1816 года, Байрон со своим соотечественником и собратом по перу Перси Шелли, а также с любовницей последнего Мэри Шелли и личным врачом Полидори устроили довольно странную вечеринку, которая, впрочем, вполне соответствовала общему типу романтического поведения. Итак, на вилле Диодати (Швейцария) Байрон и Полидори встретились с Мэри Годвин, ее гражданским мужем Перси Биши Шелли, а также их компаньонкой (сводной сестрой Мэри) Джейн Клэр Клэрмонт, которая в следующем 1817 году родила от Байрона внебрачную дочь. Девочка, названная Аллегрой, умерла в пятилетнем возрасте.
Мэри тоже забеременела, но ребенок быстро умер. Нужно сказать, что отношения Мэри с ее возлюбленным Перси Шелли очень пагубно отразились на их потомстве. Когда в дальнейшем они обоснуются в Италии, то в Венеции умрет их дочь Клара, в Риме — сын Уильям. Наконец, во Флоренции Мэри родит четвертого ребенка.
Компания в ту злополучную ночь на берегу Женевского озера читала вслух «Фантасмагорину, или Собрание историй о привидениях, духах, фантомах и проч.» (1812 г.). Вдруг Байрон предложил, чтобы каждый из присутствующих написал свой «страшный» рассказ.