На восточном побережье Йоркшира в XII в. Вильгельм Омальский (1115–1179) построил замок
Будучи родственником Мортимеров, Вильгельм стал известен лишь при Генрихе I, унаследовав от отца маленькое графство Омаль в Нормандии и земли в Йоркшире и Линкольншире. Он значительно расширил свои владения после службы у короля Стефана. 22 августа 1138 г. Вилгельм вместе с Турстаном, архиепископом Йорка, разгромили вторгшееся в Северную Англию войско шотландского короля Давида I, соратника императрицы Матильды. Благодарный Стефан сделал Вильгельма шерифом Йоркшира.
Полководческий талант Вильгельма не помог Стефану в битве при Линкольне, где отряд графа не смог противостоять натиску Ранульфа де Жернона. Вильгельму удалось укрыться в своем замке на севере. Он хранил верность плененному королю, не участвуя в политической жизни и обустраивая монастыри. Вильгельм не занимался насильственным захватом земель, тем не менее вступивший на престол Генрих Плантагенет отобрал у него графский титул и потребовал сдать большинство замков. Не дождавшись ответа, король в 1155 г. разрушил Скарборо и вынудил Вильгельма бежать в Нормандию. Впоследствии он вернулся в Англию и, скончавшись 20 августа 1179 г., был погребен в основанном им аббатстве Торнтон в Линкольншире.
На месте разрушенной башни замка в Скарборо Генрих II возвел квадратный в плане донжон. Внешние стены и Большой зал были сооружены королем Иоанном. В 1243 г. Генрих III построил надвратную башню с барбаканом и подъемным мостом.
В марте 1312 г. Эдуард II передал замок своему фавориту Пирсу Гавестону (1284–1312). В мае того же года король и Пирс бежали сюда из Ньюкасла, захваченного Томасом Ланкастером. Эдуард отправился в Йорк собирать войска, а Гавестон остался в Скарборо. Вскоре замок осадило войско баронов во главе с Эймером де Валенсой, 2-м графом Пемброка. Через две недели оголодавший Гавестон сдался Пемброку, поскольку тот обещал ему неприкосновенность до заседания парламента. В сопровождении Пемброка фаворит отправился в замок Уоллингфорд (Оксфордшир). Оставив Гавестона на ночь в доме священника в Деддингтоне, Пемброк отлучился к жене, чем воспользовался Гай де Бошам, 10-й граф Уорик, захвативший фаворита и увезший его в свой родовой замок. Пемброк тщетно просил баронов отпустить Гавестона, и через несколько дней Пирс был казнен.
После этого замок Скарборо долгое время не использовался. В июле 1645 г. «круглоголовые» захватили замок, но назначенный ими комендант оказался роялистом, и в результате в 1648 г. Скарборо был вновь осажден и взят армией Кромвеля. Затем замок превратили в тюрьму.
Оборона северной границы с Шотландией была поручена Вильгельмом I графу Нортумбрии. Главной приграничной цитаделью служил каменный замок
Моубрей приходился племянником Джеффри, епископу Ку-танса, одному из ближайших соратников Вильгельма Завоевателя. В 1088 г. граф Нортумбрии выступил против Вильгельма II, но был прощен, а после смерти дяди в 1093 г. унаследовал обширные владения в различных английских графствах. Вскоре в Нортумбрию вторгся шотландский король Малькольм III, и Моубрей разбил его в битве при Алнвике 13 ноября 1093 г. Малькольм погиб, а на севере воцарился мир.
В 1095 г Моубрей возглавил восстание прошв Вильгельма II, вероятно, согласовав свое выступление с Робертом Коротконогим. Из южных графов его поддержали только Вильгельм д’Э и Гилберт де Клер, поэтому основной контрудар король направил на север. Хозяина Бамбурга обманом выманили из замка и захватили в плен. Оборону возглавила его жена Матильда, вынужденная сдать замок под угрозой казни ее мужа. Моубрей был посажен в тюрьму, а затем выразил желание принять постриг и кончил жизнь в одном из монастырей.
Бамбург перешел в собственность Короны, а бунтарскую инициативу Моубрея впоследствии подхватила семья Перси из замка Алнвик. В 1464 г. во время Войны Алой и Белой розы Бамбург девять месяцев осаждал Ричард Невилл, 16-й граф Уорик. Войска графа обстреляли Бамбург из пушек, в результате чего он был сильно поврежден. В конце XIX в. его отреставрировал промышленник и конструктор Уильям Армстронг, превративший замок в личную резиденцию.