Учился он в школе очень неохотно; был всегда одним из последних учеников в своем классе и никогда не обнаруживал никакого желания стать первым или одним из первых. В детских играх Байрон также не отличался вследствие своей хромоты. В свободное время он любил заниматься чтением или предпринимать в одиночестве прогулки по берегу моря, причем иногда просиживал по несколько часов на каком-нибудь уединенном утесе, любуясь игрой морских волн и прислушиваясь к плеску их о дикую скалу. С раннего детства он обнаруживал страстную любовь к морю и к горам, которые впоследствии так прекрасно воспел в своих стихах. Прогулки свои маленький Байрон обыкновенно совершал верхом на пони, так как много ходить ему было тяжело. Когда он гулял вместе с кем-нибудь из товарищей, то обыкновенно делился с ним своим пони, и каждый из них по очереди то шел пешком, то сидел на лошади. Во время одной из таких прогулок им пришлось раз перебираться через мост, относительно которого существовало старинное местное поверье, что он не в состоянии выдержать тяжести лошади и всадника, если они единственные дети у своих родителей. Так как спутник Байрона случайно оказался, как и он сам, единственным сыном и как раз в это время его очередь была сидеть на пони, то маленький Джордж посоветовал ему лучше перейти мост пешком и уступить пони ему, «потому что, если ты утонешь, – серьезно заметил он, – тебя будут оплакивать двое – отец и мать, а если я утону, то меня будет оплакивать только одна мать». Тот послушался этого совета, и Байрон верхом на пони смело въехал на мост и, разумеется, благополучно перебрался на другую сторону. Дети потом объяснили этот благополучный переезд через мост тем, что «стало быть, пони имел еще братьев».
Летом 1796 года Байрон заболел скарлатиной. Когда ему стало лучше, мать поехала с ним для поправки его здоровья в горы, где они прожили несколько недель на ферме, расположенной в одной из самых живописных местностей Шотландии. Дикое величие горных видов произвело сильное впечатление на маленького Байрона. Он впоследствии всегда вспоминал эти места с восторгом, и, когда много лет спустя поэт любовался подобными же видами в Албании, когда он бродил по горам Швейцарии или смотрел на вершины Апеннин в Италии, впечатления раннего детства с необыкновенной живостью воскресали в его памяти, как об этом свидетельствуют великолепные описания горной Шотландии в «Чайльд-Гарольде» и в «Острове», который он написал всего за два года до своей смерти. Ферма, где Байрон прожил тогда с матерью несколько счастливых недель, с тех пор стала местом, куда со всех концов мира стекаются на поклонение почитатели его гения. Там до сих пор еще с гордостью показывают кровать, на которой спал будущий великий поэт.
Когда Байрон в первый раз посетил горную Шотландию, ему еще не было полных восьми лет, и, однако, к этому именно времени относится его первая любовь. О первом романе в своей жизни он в 1813 году, т. е. 15 лет спустя, писал в дневнике следующее: «Я в последнее время много думал о Мэри Дафф (так звали предмет его первой любви). Как странно, что я был так сильно влюблен в эту девочку, когда еще не мог быть способным на страсть и даже не понимал значения этого слова. Мать моя любила иногда подшучивать над моим ребяческим романом. Много времени спустя, когда мне уже было 16 лет, она мне раз сказала: „Слушай, Байрон, я получила на днях письмо из Эдинбурга, и мне, между прочим, сообщают, что твоя старая любовь, Мэри Дафф, вышла замуж за г-на К…“. Я решительно не в состоянии ни объяснить, ни передать того, что я почувствовал в тот момент, когда услышал эту новость. Со мной чуть не сделался истерический припадок, и я до такой степени испугал своим видом мать, что она впоследствии всегда избегала говорить об этом предмете, по крайней мере, в моем присутствии… Мы оба были тогда совершеннейшими детьми. Я с того времени уже 50 раз был влюблен, и, однако, до сих пор еще помню все, что мы тогда говорили друг другу, все наши ласки, мое волнение, бессонницу и как я мучил нашу горничную, чтобы она писала ей письма от моего имени, что та в конце концов и делала, лишь бы успокоить меня. Я помню также наши общие прогулки и счастье, которое я испытывал, когда сидел рядом с Мэри и мы серьезнейшим образом разыгрывали влюбленных в то время, как младшая сестричка ее Лена играла с куклой… Я сомневаюсь, чтобы у нее еще сохранилось малейшее воспоминание об этом времени или обо мне, или чтобы она еще помнила, как она, бывало, сожалела, что сестричка ее Лена не имеет возлюбленного. Как хорошо сохранился в моей памяти ее прелестный образ – ее темно-каштановые волосы, ее глаза газели, даже самый костюм ее!..»