Самое ранее упоминание о замке Стерлинг относится к началу XI в., когда шотландский король Александр I, сын Малькольма III, освятил здесь часовню. Огромное значение замок приобрел в конце XIII – начале XIV в., став символом противостояния шотландцев и захватчиков-англичан. В рамках карательной кампании войска Эдуарда I осадили Стерлинг. В 1303 г. Эдуард установил у стен замка 17 осадных орудий и приказал сорвать свинцовые пластины с крыш церквей, чтобы изготовить снаряды. Впрочем, замковый гарнизон сдался не из-за обстрела, а по более прозаичной причине – закончился провиант. Стерлинг оставался во владении английской короны до битвы при Бэннокбёрне 24 июня 1314 г., когда войско Роберта Брюса разгромило армию Эдуарда II и вернуло замок Шотландии.
При Стюартах, взошедших на престол в 1371 г., Стерлинг превратился в ясли для принцев. Произошло это не сразу. Ни Роберт Стюарт, родоначальник династии, ни его сын, болезненный Роберт III, не воспитывались в Стерлинге. А молодые годы Якова I и вовсе прошли на чужбине – в английском плену. Но после смерти Якова от рук заговорщиков его сына доставили в Стерлинг, по преданию, спрятанным в сундуке.