Когда на горизонте показались норманнские корабли, саксонский гарнизон форта покинул его. Часть воинов отправилась на север, к королю Гарольду, а часть разбрелась по окрестным селениям. Вероятно, устаревшие стены и башни Андериды не выдержали бы осады. Преклонив колени на берегу, герцог направился в пустующую крепость и сразу же отдал распоряжение о строительстве дополнительных укреплений. Уже после победы при Гастингсе Вильгельм передал замок своему сводному брату Роберту де Мортену (1031–1095). Тот возвел донжон и укрепленный двор в одном из углов старого форта и отремонтировал износившиеся участки стены. Позднее к замку добавили ров с перекидным мостом, а на рубеже XII–XIII вв. — двойную надвратную башню, в нижней части которой устроили шлюз.
В 1088 г. Роберт укрылся в Певенси вместе со своим братом Одо (1036–1097), епископом Байе, повздорившим с племянником Вильгельмом II. Вильгельм шесть недель осаждал дядюшек и, в конце концов, вынудил их сдаться и принести вассальную клятву. В 1147 г. замок безуспешно пытался взять король Стефан, а в 1264 г. Симон де Монфор без труда пленил сбежавшего сюда после битвы при Льюисе Генриха III.
С тех пор замок больше не осаждали, но использовали в качестве тюрьмы. С XVI в. Певенси находился в запустении и чудом уцелел, хотя Тюдоры, которым мерещились высадки новых завоевателей, неоднократно пытались снести его.
Замок
Затем он вошел в состав владений Роберта (1026—?), графа д’Э, построившего в 1070 г. каменную крепость. Роберт неизменно поддерживал юного Вильгельма и противостоял вторжениям в Нормандию французских войск. На свои средства он снарядил 60 кораблей, отплывших в Англию в составе герцогского флота. В 1169 г. он вместе с Робертом де Мортеном руководил операциями в Линкольншире против англосаксов и датчан.
Роберт также стал жертвой нелепого завещания Вильгельма I. Готовый признать Роберта Коротконогого, он вдруг узрел в качестве короля Англии его младшего брата. Возмущенный граф отказался присягать Вильгельму И, но был принужден тем к повиновению.
В 1088 г., после смерти графа, его сын Вильгельм (1058—?) поддержал Роберта де Мортена и Одо в их начинаниях. Поскольку в Гастингсе находился королевский гарнизон, Вильгельм высадил свои войска на западном побережье — в Бристоле, вторгся в Глостершир, но был разбит королем. Несмотря на это, семья д’Э сохранила свои владения в Суссексе. В 1095 г. граф выступил на стороне взбунтовавшегося Роберта де Моубрея, графа Нортумбрии. О дальнейшей судьбе графа д’Э ничего не известно. Вероятнее всего, он умер в изгнании.
Его сын Генрих (1085–1140) в 1118 г. попытался присоединиться к восстанию баронов Нормандии против короля Генриха I, но был арестован в Руане, после чего окончательно лишился своих английских владений вместе с Гастингсом и закончил свои дни в монастыре в Фекампе.
Генрих I, Стефан Блуа и первые Плантагенеты поочередно размещали в Гастингсе надежные войска, и в результате замок ни разу не был осажден. Увы, сами же хозяева его и разрушили. 22 мая 1216 г. в Кенте высадился французский принц Людовик, сын Филиппа Августа, приглашенный английскими баронами. Ему без боя сдались Кентербери и Рочестер. Напуганный король Иоанн, не доверяя здешнему гарнизону, приказал разобрать большинство укреплений Гастингса. Ослабленная крепостная стена не выдержала многомесячной бури, бушевавшей на южном побережье в 1287 г., и обвалилась вместе со скалой. Первый построенный норманнами английский замок прожил недолгий век.
В отличие от Певенси и Гастингса, замок