В 1053 г. Вильгельм осадил Арк, и несмотря на то что в октябре Генриху удалось прорвать окружение, пополнив гарнизон солдатами и подвезя припасы, крепость в конце концов была взята, когда люди стали умирать от голода. Во время боя был убит один из влиятельных противников герцога — граф Понтье. После падения Арка Вильгельм предложил дяде свои условия, которые тот, по всей видимости, не принял, предпочтя удалиться в изгнание в Булонское графство. В 1054 г. (или, возможно, в 1055 г.) герцог добился низложения другого своего дяди, архиепископа Можера, после чего сослал его на остров Гернси.
Внезапное нападение Генриха в 1053 г. преследовало лишь разведывательные цели. А уже в следующем году король начал крупномасштабное вторжение во главе феодальной армии, в которую входили отряды из герцогства Аквитанского и графства Бургундского, а также, возможно, анжуйцы под командованием Жоффруа Мартелла. Генрих разделил свои войска на две части. Сам он через графство Эвре отправился в поход на Руан. Вильгельм решил принять вызов. Вторая армия, под началом Эда, младшего брата короля, вместе с Ги, графом Понтье, ставшим преемником своего брата после его гибели под Арком, продвигалась на север от Сены, но у Мортемера была разбита армией Роберта, графа д'Э, и других северных баронов. Среди знатных пленников оказался Ги, граф Понтье. Когда Вильгельм уведомил Генриха об этой победе, король отступил. Благодаря захвату пленников Вильгельм извлек из этой кампании двойную выгоду: во-первых, граф Понтье стал его вассалом, и, таким образом, герцог снова распространил свое влияние на области, граничащие с Фландрией, а во-вторых, король, видимо, пообещал ему сохранять нейтралитет в случае нападения Вильгельма на Анжу.
В период между 1054 и 1060 гг. Вильгельм вел военные действия против Анжу с переменным успехом. В ответ на его вторжение в Мэн, которое он провел в 1054 г., король Генрих и Жоффруа Анжуйский в 1057 г. напали на Нормандию, причем это нападение носило гораздо более опасный характер, так как их войска продвинулись далеко в глубь нормандских владений. Они вторглись с юга в область Иемуа, прошли через все герцогство и разорили прибрежную область к западу от реки Орн. По-видимому, Вильгельму пришлось остаться безучастным наблюдателем вражеских бесчинств. Однако когда армию захватчиков, переправлявшуюся через реку Див у Варавиля, застиг врасплох прилив, Вильгельм атаковал ее отрезанный от основных сил арьергард и полностью его разгромил. Последовавшая за этим война то затихала, то разгоралась, не принося решающего успеха ни одной из сторон. Очевидно, что до 1060 г., когда умерли и граф Анжуйский, и король Франции, Вильгельм оборонял свои владения, и поэтому они пострадали больше, чем земли его противников. Однако, по всей видимости, это не мешало ему систематически расправляться со своими внутренними врагами — членами собственной семьи. Примерно в 1056 г. он устранил своего родственника — Гильома Герлана, графа Мортенского, — обвинив его в подготовке мятежа и вынудив бежать в Апулию, а на его место назначил своего сводного брата Роберта. Другого родственника — Вильгельма Бюсака, второго сына графа Э, — он изгнал, заставив его искать убежища во Франции. Герцог не устраивал кровавых расправ, однако ему удалось избавиться от немалого количества своих старших родственников.
Смерть в 1060 г. двух наиболее могущественных внешних противников стала поворотной точкой в судьбе герцога Вильгельма. Наследник Генриха I, Филипп I, был еще ребенком, и ему назначили опекуна — тестя Вильгельма, Балдуина Фландрского. В 1060 г. Вильгельм принес оммаж своему новому сюзерену в городе Дре, расположенном недалеко от границы между Нормандией и Францией, и до совершеннолетия Филиппа между ними сохранялся мир. Анжуйское графство перешло к племяннику Жоффруа Мартелла — Жоффруа Бородатому, слабому правителю, с которым вскоре вступил в борьбу за власть стал соперничать его брат Фульк Глотка (