23 июня 1803 года Байрон написал матери: «Сегодня меня перевели в старший класс, и мои отношения с доктором Друри наладились». Директор начал ценить характер Байрона. Он говорил лорду Карлайлу: «Он талантлив, ваше сиятельство, что прибавляет еще больше блеска его титулу». Ответ опекуна был краток: «Вы правы!»
Адвокату Хэнсону наконец удалось сдать Ньюстед в аренду на пять лет лорду Грею де Рютину, молодому двадцатитрехлетнему человеку, за 50 фунтов в год. Миссис Байрон переехала в дом под названием «Бергидж Мэнор» в Саутвелле недалеко от Ноттингема. Когда Байрон вернулся на летние каникулы, то увидел красивый трехэтажный деревянный дом с небольшим садом. Он располагался в сонном маленьком городке, где жило не больше трех тысяч человек, в конце главной улицы перед зеленой лужайкой. Здесь Байрону показалось скучно по сравнению с Лондоном и Хэрроу. Через несколько дней он отправился в Ньюстед, где поселился вместе со смотрителем Оуэном Мили.
Молодому лорду пришелся по душе Ансли-Холл, где жила его кузина Мэри Чаворт, ставшая к тому времени прелестной девушкой во всем обаянии юности. Иронический ум Байрона забавлял ее, а его явственное восхищение льстило девушке, которая, впрочем, была равнодушна к нему, поскольку была уже помолвлена с Джоном Мастерсом, молодым сквайром с элегантными манерами, увлекающимся охотой на лисиц.
Байрон каждый день приезжал к Мэри из Ньюстеда и вскоре безумно влюбился в нее. Ничем не компрометируя себя, Мэри вела себя дружелюбно и даже кокетливо. «Случайные» поцелуи и прикосновения идеализировались в мыслях влюбленного юноши, на чувственность которого уже оказывали влияние нежные и сентиментальные стихи Томаса Мура. «Когда мне было пятнадцать лет, – вспоминал Байрон, – я переплывал реку в лодке в скалистом месте под Дербиширом. В этой лодке могли уместиться только два человека. Течение несло лодку под скалы. В лодке со мной была М. Ч., в которую я был давно влюблен, но не говорил об этом, и все же она узнала сама».
В середине сентября он был настолько влюблен, что и слышать не хотел о возвращении в Хэрроу, несмотря на просьбы матери. Когда Хэнсон по просьбе Друри спросил о причине, то получил ответ от отчаявшейся миссис Байрон: «Я не могу заставить его вернуться в школу, хотя последние шесть недель сделала все, что в моих силах. У него нет других известных мне причин, только любовь, безумная любовь, худшая из всех болезней. Короче говоря, мальчик влюблен в мисс Чаворт, и со дня приезда в графство он не был со мной и трех недель, все время проводя в Ансли». Но терпеливая мать, памятуя о своем увлечении отцом Байрона, сдалась и позволила сыну остаться до следующих каникул.
Однако в скором времени юный влюбленный стал беспокойным и угрюмым, поняв, что «она вздыхает не о нем». Хмурый мальчик наскучил Мэри, и она не принимала его всерьез. Он часто сидел, задумавшись, лениво играя со своим носовым платком, часами стрелял в деревянную дверь террасы. Несмотря на красивое лицо, склонность к полноте делала его просто неуклюжим школьником. Разрядка наступила однажды вечером, когда он услышал или кто-то сказал ему, что Мэри говорила служанке: «Что! Неужели я стану обращать внимание на хромого мальчишку!» В гневе он выбежал из дому и вскоре вернулся в Ньюстед. Однако мысли о Мэри Чаворт не оставляли его. Позднее он говорил Томасу Медвину: «Она была идеалом красоты моей юности; и все мечты о небесной натуре женщин я почерпнул из того обожания, которым мое воображение окружило Мэри. Я говорю «воображение», потому что в действительности я отнюдь не считал ее, да и всех других представительниц женского пола, ангелами».
Байрон был готов покинуть дом своих предков, где его постигло горькое разочарование, но в ноябре приехал лорд Грей, снова вернув аббатству былое притяжение. Грей был испорченным юношей на восемь лет старше Байрона. Больше всего его интересовало оружие, и в лунные ночи они с Байроном ходили стрелять фазанов. Байрон провел в аббатстве все каникулы, но еще до того, как ему исполнилось шестнадцать, случилось нечто непредвиденное, и он уехал из Ньюстеда с твердым намерением больше никогда не видеться с лордом Греем. Хотя он никогда подробно не рассказывал об этом случае, однако намеков было достаточно, чтобы понять, что пресыщенный лорд Грей попытался перейти грань обычной дружбы, что отвратило его молодого спутника. На полях экземпляра «Жизни» Мура Хобхаус сделал пометку: «…в их отношениях произошло нечто, что впоследствии наложило отпечаток на моральные воззрения Байрона».