С первых же дней после встречи, они стали проводить время вчетвером — чаще всего на озере в лодке (пока это позволяла погода); плыть под парусом было страстью обоих поэтов, и эта страсть содействовала их сближению. Шелли привык ставить Байрона очень высоко и теперь был немного озадачен, видя его человеческие слабости. Байрон, наоборот, не догадывался прежде ни о гении, ни о большом уме, ни о необычайно ясной и твердой воле нового своего друга; он им восхищался, но предпочитал этого не высказывать.
Друзья вскоре переехали из гостиницы. В Колоньи, на Савойском берегу, Байрон поселился на чудесной вилле Диодати, которая цела и сейчас. Это небольшой дом XVIII века, над озером с террасой, с прелестными коваными балюстрадами и лепными потолками. Шелли, средства которого были очень ограничены, поселился поблизости, но устроился гораздо дешевле, сняв непритязательный домик у самого берега, возле маленького рыбачьего порта. В порту стояла его лодка и парусная яхта, только что купленная Байроном. В хорошую погоду они всегда были на озере, в дурную ходили друг к другу. Если бы не Клара, Байрон был бы вполне доволен жизнью в Колоньи. Но Клара была несговорчива и требовательна. Она приходила к нему каждый вечер и уходила поутру. Однажды, возвращаясь домой, встретила на дороге двух рабочих, испугалась, бросилась бежать и, при этом, потеряла башмачек. Рабочие со смехом принесли его в мэрию. Вся округа давно уже услаждалась обсуждением любовных успехов лорда Байрона.
Так проходила неделя за другой. Иногда Байрон уединялся: он любил одиночество, а, может быть, и рисовался немного такой любовью. Однажды — это было тоже очень в его духе — он отвязал лодку и в сильную бурю, один, отъехал далеко от берега. Бури на Женевском озере внезапны, нешуточны и опасны даже для опытных гребцов. В то утро Бэльфонтэнский учитель Тенгри увидел издали на бушующих волнах хрупкую лодку и в ней человека. Он тотчас побежал к церкви и велел бить в набат, собрал на берег местных виноделов и стал сигнализировать всеми способами погибающему. Когда Байрон, много позже, соблаговолил, наконец, высадиться на берег, он так накричал на бедного учителя, что тот запомнил на всю жизнь разъяренного его усердием поэта. В другой раз, дикая утка, только что раненная охотником, прилетела в лодку Байрона, и второй выстрел чуть не попал в него. Уже нажав на собачку, неудачливый стрелок его узнал; отчаянию его не было конца. Байрону пришлось утешать его: он оказался местным литератором Пти–Сенном.
Все эти забавы могли продолжаться лишь пока стояла сносная погода, но дождливое лето вступало в свои права. Солнечные дни становились всё реже; затем и вовсе перестало показываться солнце; с самого утра лил ливень, горы обволакивал туман, приходилось сидеть дома и придумывать домашние развлечения. Этим воспользовался Полидори и написал пятиактную трагедию в стихах. В дождливый день пришлось таки Байрону и Шелли выслушивать это выспреннее изделие. Трагедия была нелепа. В середине, не выдержав скуки, Байрон взял у автора рукопись и сам стал читать ее, торжественно декламируя и давясь от смеха. Когда он кончил, никто из слушателей не мог удержать хохота. Полидори был мертвенно бледен. Казалось, он готов был броситься и растерзать любого из веселящихся своих мучителей. На следующий день в лодке (погода ненадолго прояснилась), он, как бы нечаянно, изо всех сил ударил Байрона веслом по ноге. Байрон довольно резко сказал ему, что бросил бы его в воду, если бы не присутствие дам. Среди бесчисленных стычек, это была одна из самых резких, но прогнать неугомонного Полли–Долли Байрон заставить себя не мог; жалел его да и не хотел привыкать к новому человеку; раздразненного сам же и утешал и только говаривал, что слишком уж часто приходится ему лечить своего врача.