Выпустив «Песни» и опубликовав старинную балладу «Сэр Тристрам», Скотт по совету графини Далкейт взялся за собственную поэму. Он прочитал первый набросок двум друзьям, но те не проявили особого энтузиазма, и Скотт, расстроившись, предал рукопись огню. Вскоре, однако, он встретился с одним из друзей, узнал, что неверно истолковал их молчание (на самом деле поэма их очень и очень заинтересовала), и решил возобновить над ней работу. Осенью 1802 года, во время учений на Портобеллских песках, его лягнула лошадь, и он был вынужден три дня проваляться в казарме. Тогда-то он и вернулся к поэме, которую закончил через полтора месяца и пазвал «Песнь последнего менестреля». Ее достоинство, говорил Скотт, заключалось в том, что «писалась она от полноты души и лишь для того, чтобы раз и навсегда освободиться от образов, с младенчества осаждавших мое воображение». Весной следующего года они с женой побывали в Лондоне, и там, на юге Англии, под сенью древнего дуба в Виндзорском лесу он зачитал несколько строф новой поэмы Джорджу Эллису и его супруге.
В 1803—1804 годах Бонапарт резвился в опасной близости от берегов Альбиона, и над страной нависла реальная тень вторжения. Скотту часто приходилось бывать на сборах в Селкирке, где формировались вооруженные отряды; лорд-наместник графства считал, что должность квартирмейстера в полку эдинбургских легких кавалеристов мешает Скотту отправлять обязанности шерифа, и предложил ему подать в отставку из армии. Скотт отказался, но, поскольку закон этого требовал, согласился проводить на территории подведомственного ему графства четыре месяца в год. До сих пор, наезжая в Селкиркшир по делам или отдохнуть, он всегда останавливался на постоялом дворе, однако теперь ему предстояло расстаться с Лассуэйдом и подыскивать на лето что-нибудь поближе к Селкирку. Ширра31, как его прозывали в сельских районах, уже пользовался в тех местах популярностью: когда гостившие у него в Лассуэйде Вильям и Дороти Вордсворт возвращались домой в южные графства, они убедились, что им обеспечен сердечный прием в любом уголке Пограничного края, стоит лишь упомянуть его имя. Скотт сам проводил их берегом Твида до Ховика, развлекая по пути историями про каждый замок или утес, мимо которых они проезжали, и гости заметили, что он всех тут знает, а все знают и любят его.
Жителям этой сельской округи предстояло узнать его еще лучше. В 1804 году родственники Скоттов Расселлы выехали из Ашестила, и он снял в аренду особняк вместе с прилегающей фермой. Пока шли переговоры, в Келсо скончался его дядя, капитан Роберт Скотт, завещав любимому племяннику Роузбэнк, где Вальтер провел столько счастливых часов. Но Скотт мечтал о сельской жизни, и с этой точки зрения Роузбэнк его не устраивал; к тому же район Келсо был богат герцогами и вдовствующими титулованными дамами, «что вредно для малых сих». Скотт продал дом за 5000 фунтов и еще 600 выручил за дядюшкино имущество. В июле 1804 года он перебрался с семьей в Ашестил. К этому времени у них было уже трое детей — Софья (родилась в 1779-м), Вальтер (1801) и Анна (1803). В 1805 году появился Чарльз. Все четверо пережили родителей.
Ашестил расположен в узкой долине на южном берегу Твида, примерно в семи милях от Селкирка. Сразу за домом и на противоположном берегу реки поднимаются горы; те, что позади, разделяют долины Ярроу и Твида. Между холмом, на котором стоит дом, и рекой лежит поле, а к западу от особняка тянутся вдоль Твида сочные заливные луга. Во времена Скотта усадьба хорошо просматривалась почти со всех сторон, но он завел обычай сажать деревья, и теперь долину Твида не узнать. С проселка, что на задах, дома совсем не видно, а с большой дороги на другом берегу Ашестил виден лишь частью фасада. Сейчас к особняку пристроено новое крыло, но, когда там жил Скотт, здание напоминало букву Г. Ашестил стал семейным гнездом Скоттов, где они, по его словам, провели «восемь счастливейших лет», пока на континенте убивали друг друга солдаты, дома обличали друг друга политики, а большая часть рода человеческого вела себя точно так же, как во все времена.