Раздираемая внутренними распрями, Нормандия была легкой добычей для внешних врагов. В 1040 году герцог Бретани Ален III перешел пограничную реку Куэнон, используя в качестве надуманного предлога то, что Роберт Великолепный будто бы назначил его опекуном своего сына, тогда как Жильбер, а затем Рауль узурпировали это поручение, и теперь он лишь требует причитающееся ему по праву. Он вторгся вглубь нормандской территории и осадил Вимутье, но в ходе осады, в октябре, его настигла внезапная смерть — скорее всего, в бою, но, как обычно, прошел слух, что его отравили. Похоронили его в Фекане, поскольку по женской линии он был дальним родственником герцогского семейства Нормандии. Он оставил лишь одного законного сына, еще младенца, по имени Конан. Его брат Эон де Пентьевр объявил себя опекуном ребенка, изгнав вдову герцога Берту, дочь Эда де Блуа, которая нашла убежище у графа Мэна, за которого впоследствии и вышла замуж. Видимо, тогда монахи аббатства Мон-Сен-Мишель и заказали специальный колокол, предназначенный для того, чтобы подавать нормандцам на приграничных территориях сигнал о приближении бретонских отрядов.
Поучаствовал в междоусобных сварах и король Генрих I: ссылаясь на свое право осуществления охраны владений малолетних вассалов, он потребовал передать ему замок Тилльер-сюр-Авр, в свое время построенный Ричардом II на границе с владениями Эда де Блуа. Королевский отряд уже принялся опустошать окрестности, когда Рауль де Гасе, опекун малолетнего герцога, получил уведомление и приказал шателену Жильберу Креспену сдать замок Тилльер. Однако Жильбер получил свое назначение непосредственно от Роберта Великолепного и, храня верность сеньору, отказался исполнить приказ. Тогда люди короля приступили к осаде, и Рауль де Гасе повторил свой приказ. На этот раз Жильбер Креспен нашел решение, не шедшее вразрез с его совестью: он сдал замок, но не королю, а лично своему герцогу, маленькому Вильгельму; затем уже от его имени Рауль передал замок королю. Надо полагать, Генрих I вдоволь посмеялся над этой комедией, тем более что дело обернулось к его удовольствию. Когда последний нормандец покинул замок, он велел поджечь его и, заняв удобное место, любовался этим зрелищем, трясясь от хохота. Затем он продвинулся вглубь региона Йемуа, предал разграблению бург Аржантан и с добычей удалился восвояси, предварительно распорядившись восстановить, вопреки данному Раулю обещанию, замок Тилльер, отныне обращенный против Нормандии.
Вторжение короля еще больше усилило беспорядок в герцогстве, одновременно обнаружив бессилие Рауля и показав тем, кто еще хранил верность герцогу, тщетность сопротивления. Тутэн Гоз, прево Йемуа, разместил в замке Фалеза, охрана которого была поручена ему, гарнизон из наемников, в большинстве своем французов, и отказался повиноваться Раулю. Почему? Никому не ведомо. Король ли подкупил его или, напротив, Тутэн хотел сохранить замок для юного герцога, предупредив очередную капитуляцию его опекуна? Разъяренный Рауль собрал ополчение и осадил город; под вечер его осадные машины пробили широкую брешь в стене, однако решено было отложить решающий штурм до утра. Ночью Тутэн бежал, отправившись в изгнание, но позднее вернулся и примирился с герцогом.
Вильгельму было тогда тринадцать лет. Он приближался к своему совершеннолетию, в те времена наступавшему в четырнадцать или пятнадцать лет. Он воспитывался вместе с сыном Осберна, тоже Вильгельмом, с которым его связывала тесная дружба. В этом честном и прямодушном мальчике юный герцог больше всего ценил верность, казавшуюся ему в те бедственные времена высшей добродетелью. Его обучение по-прежнему оставляло желать много лучшего, ибо времена не благоприятствовали овладению книжной наукой, зато весьма способствовали физическому развитию. Впрочем, жизненные обстоятельства накладывали свой отпечаток на чувства и мысли Вильгельма. «Он копил в своем детском сердце, — писал Ордерик Виталий, — мужественную силу». Видимо, уже тогда в нем проступали черты человека значительного и вдумчивого, горячего, но не теряющего самообладания, властной личности, которой суждено было ему стать. Он строго судил о своем опекуне, и между ними, видимо, назревал серьезный конфликт. Вильгельм, надо полагать, так и не забыл той ночи, когда Готье, брат матери, выхватил его из залитой кровью постели, на которой умирал Осберн...
Его разлучили с матерью. Вскоре после смерти Роберта Арлетта вышла замуж за доблестного и честного рыцаря — Эрлуэна, сеньора де Контевиля, заботам которого, видимо, вверил ее покойный перед своим отъездом. В этом браке она родила троих детей: сыновей Роберта и Одо и дочь Мюриэль. С этим семейством Вильгельм поддерживал тесные отношения, особенно со своими братьями по матери, которых искренне любил и был схож с ними темпераментом. В страшные годы его детства семейство Эрлуэна и Арлетты, видимо, постоянно отстаивало его интересы, поэтому, лишь только взяв власть в свои руки, он стал оказывать явное предпочтение семье матери в ущерб Ричард идам.