В 1803 г. Байрон познакомился со своей кузиной Мэри Чаворт (1786–1832) из Эннсли, ставшей предметом его юношеской страсти. Мэри не разделяла чувств поэта и в 1805 г. вышла замуж за Джона Мастерса из местечка Колвик. Брак оказался несчастливым и завершился фактическим разводом супругов. Байрон откликнулся на него следующими строками:
В 1808 г. Байрон вернулся в Ньюстед и занялся его ремонтом. В июне 1809 г. он отправился в свое первое путешествие по Европе, а вернувшись в 1811 г., поселился в Лондоне, оставив свою мать в одиночестве в Ньюстеде, где та вскоре скончалась. Испытывая острый финансовый кризис, поэт выставил родовое поместье на продажу в 1812 г. Подходящего покупателя не нашлось, а после неудачной женитьбы на Энн Миллбанк (1792–1860) в 1815 г. Байрон навсегда покинул Англию. Поместье было продано в ноябре 1817 г., когда поэт находился в Италии. В настоящее время им владеет городской совет Ноттингема.
Чарльз Диккенс (1812–1870) родился в семье чиновника Джона Диккенса (1785–1851), путешествовавшего по городам Южной Англии (Лендпорт, Портсмут, Чатем и др.). В девятилетием возрасте Чарльз впервые увидел поместье
Свою детскую мечту Диккенс воплотил в жизнь в марте 1856 г., будучи уже знаменитым писателем. Прежним владельцам Линтонам было уплачено 1790 фунтов. В июне 1857 г., после выхода в свет романа «Крошка Доррит», писатель окончательно поселился в Гэдс Хилл. Вскоре его посетил Ганс-Христиан Андерсен, проживавший в поместье пять недель. Гостями Диккенса были также писатели Генри Лонгфелло и Уилки Коллинз.
В 1864 г. друзья подарили Диккенсу сборное швейцарское шале (двухэтажный домик). Писатель установил его неподалеку от своего особняка, а затем прорыл тоннель от дома к шале. В весенние и летние месяцы Диккенс любил работать на верхнем этаже шале. В Гэдс Хилл были написаны «Повесть о двух городах» (1859), «Большие надежды» (1861), «Наш общий друг» (1865), «Тайна Эдвина Друда» (1870).
9 июня 1870 г. писатель скончался от инсульта, лежа на диване в гостиной дома. До 1879 г. в Гэдс Хилл проживал его старший сын Чарльз (1837–1896). С 1924 г. в доме разместилась местная школа.
Шале было перевезено в Рочестер и теперь действует как музей писателя.