В 1790 леди Байрон удалилась в Абердин, и муж ее за нею последовал. Несколько времени жили они вместе. Но характеры были слишком несовместны — вскоре потом они разошлись. Муж уехал во Францию, выманив прежде у бедной жены своей деньги, нужные ему на дорогу. Он умер в Валенсьене в следующем 1791 году.
Во время краткого пребывания своего в Абердине он однажды взял к себе маленького сына, который у него и ночевал; но на другой же день он отослал неугомонного ребенка к его матери и с тех пор уже его не приглашал.
Мистрис Байрон была проста, вспыльчива и во многих отношениях безрассудна. Но твердость, с которой умела она перенести бедность, делает честь ее правилам. Она держала одну только служанку, и когда в 1798 году повезла она молодого Байрона вступить во владение Ньюстида, долги ее не превышали 60 f. st.
Достойно замечания и то, что Байрон никогда не упоминал о домашних обстоятельствах своего детства, находя их унизительными.
Маленький Байрон выучился читать и писать в Абердинской школе. В классах он был из последних учеников — и более отличался в играх. По свидетельству его товарищей, он был резвый, вспыльчивый и злопамятный мальчик, всегда готовый подраться и отплатить старую обиду.
Некто Патерсон, строгий пресвитерианец, но тихий и ученый мыслитель, был потом его наставником, и Байрон сохранил о нем благодарное воспоминание.
В 1796 году леди Байрон повезла его в горы для поправления его здоровья после скарлатины. Они поселились близ Баллатера.
Суровые красоты шотландской природы глубоко впечатлелись в воображение отрока.
Около того же времени осьмилетний Байрон влюбился в Марию Доф. 17 лет после того, в одном из своих журналов, он описал свою раннюю любовь: