В XIV в. новый смотритель Хермитажа, Вильям Дуглас, отличился тем, что заточил в замковой темнице своего соперника — претендента на пост местного шерифа Александра Рамсэя и держал его там до тех пор, пока бедный Рамсэй не скончался от голода. Говорят, что он изо всех сил пытался продлить свою жизнь тем, что ему иногда удавалось съесть несколько зерен, заносимых ветром в темницу из амбара, который располагался выше. Печальный призрак голодного Рамсэя и сегодня можно встретить в развалинах Хермитажа.
Незавидной оказалась и участь Вильяма Дугласа — он был убит собственным крестником в 1353 г.
Основные изменения во внешнем облике замка были сделаны третьим графом Дугласом в конце XIV в. — он добавил величественные угловые башни. В XV в. семейству Дугласов, вызывавшему опасения осторожного и подозрительного Якова IV, было предписано обменять Хермитаж на владения в окрестностях Глазго, а у замка появились новые хозяева — семейство Хепбурнов, к которому принадлежал и четвертый граф Босвелл.
Мрачная крепость, окруженная унылыми болотистыми топями, отнюдь не способствовала умиротворенному созерцанию природных красот или романтическим прогулкам. Но тем не менее именно сюда поспешила Мария Стюарт, услышав о том, что Босвелл серьезно ранен и ждет ее в замке Хермитаж. Бешеная скачка по болотам в сырой и промозглый день — 80 км туда и обратно — чуть было не погубила королеву. По возвращении в Джедборо Мария серьезно заболела: по одной из версий это была серьезнейшая простуда, по другой — спровоцированный переутомлением и переохлаждением приступ редкой наследственной болезни — порфирии (нарушение пигментного обмена), которой страдал ее отец и которая передалась сыну королевы.
Домик Марии Стюарт в Джедборо считается тем самым местом, где королева целый месяц боролась с болезнью и чуть было не рассталась с жизнью. Сейчас в нем находится интересная экспозиция, посвященная трагической судьбе шотландской королевы, есть там и личные вещи Марии Стюарт, ее портреты, восковая фигура и даже копия посмертной маски казненной королевы.
Перед тем как вернуться в Эдинбург в ноябре 1566 г., королева остановилась на несколько дней в замке Крэгмиллар, чтобы обсудить со своими советниками проблему с Дарнли. Замок Крэгмиллар являлся одним из важных звеньев целой цепи фортификаций, защищавших Эдинбург от нежелательных вторжений, прежде всего в силу выгодного стратегического положения — всего в трех милях от шотландской столицы, рядом с одной из главных дорог, ведущих в Эдинбург. Много веков назад стратегическая важность этого места побудила Джона де Капеллу воздвигнуть здесь первый форт, выстроенный из дерева, который был заменен каменным замком сэром Саймоном Престоном в 1374 г. Внушительная крепостная стена и полукруглые угловые башни были добавлены в 1427 г.
Сочетание двух важных преимуществ — близость к Эдинбургу и расположение на высоком месте — делало Крэгмиллар особо привлекательным для шотландских королей. С одной стороны, находясь в замке, можно было контролировать события, происходившие в столице, с другой стороны, воздух Крэгмиллара считался в средние века гораздо более чистым и полезным, чем воздух столицы, где время от времени по узким грязным улочкам бедных кварталов гуляла непрошеная гостья — чума. Несколько монархов Шотландии использовали замок как удобное убежище от городской суеты, грязи и шума.
Яков III, однако, отличился тем, что решил сделать Крэгмиллар тюрьмой для своего брата Джона, графа Мар, чья загадочная смерть в стенах замка породила множество слухов и домыслов. Во время реставрации замка в 1813 г. в замковом подземелье был обнаружен замурованный в стену скелет, что, несомненно, вызвало новые предположения и добавило черной краски в мистическую палитру замка.
В 1566 г. интерес к замку проявила и Мария Стюарт, после убийства Дэвида Риццио избравшая Крэгмиллар в качестве резиденции. Здесь она неоднократно останавливалась в течение зимы 1566–1567 гг., а окрестности замка и по сей день называют «маленькая Франция» в память о том времени, когда близлежащая деревушка была наводнена французскими придворными и слугами королевы.
К сожалению, туристам XXI в. приходится напрягать свое воображение, чтобы представить замок таким, каким любила его Мария Стюарт: в 1660 г., когда королевы уже давно не было в живых, владельцы Крэгмиллара, семейство Престонов, продали замок новому хозяину — Джону Гилмору, но уже в начале XIX в. замок был разрушен. Реставрация, проведенная позже, позволила сохранить внешний вид замка, часовню и сады.
Историки считают, что именно в Крэгмилларе была решена участь короля Дарнли.
Во время восстания лордов против преступных супругов — Марии Стюарт и короля Босвелла 15 июня 1567 г. произошло сражение верных королеве войск и армии мятежников. Случилось это у Карберри Хилл, где в замке Данбар Мария и Босвелл проводили медовый месяц.