Влюбившись в Герлеву, герцог Роберт, казалось, совсем забыл о своей законной жене. Даже кожевник пытался возражать против увлечения герцога его дочерью. Но разве можно противостоять могуществу великого человека? Разумеется, Фулберт смирился с неизбежным с большим достоинством и впоследствии проявил себя верным вассалом и сторонником своего лорда и хозяина. Роберт, похоже, на всю жизнь сохранил чувство, охватившее его тогда, когда он впервые увидел прелестное стройное создание, повернувшее к нему смеющееся лицо. Вскоре на том месте, у ручья, где Роберт впервые увидел женщину, которая стала главной в его жизни, появился небольшой замок. Герцог не женился на ней, хотя Эстрите пришлось уехать. Однако у них родился сын, которого назвали Вильгельмом и который сам добавил к своему имени титулы "Великий" и "Завоеватель", что не избавило его от печальной участи до конца своих дней страдать от слухов о своем позорном и низком происхождении. Это было подло, как если бы в наши дни насмехались над человеком и упрекали его в бесчестье, которого тот не заслуживает. Однако из всех знаменитых людей, о незаконном рождении которых известно из истории, Вильгельм чаще других награждался оскорбительным титулом — "незаконнорожденный". Он добился большой славы, он был великим человеком своего времени. Однако в силу обид, зависти, предубеждений или, возможно, каких-то ошибок с его стороны его всегда обвиняли в позоре, который не был его позором. Незаконнорожденный! Внук кожевника! Ему никогда не позволяли забыть, что эти титулы также принадлежат ему, несмотря на героизм, военные успехи или укрепление нормандского господства.
Гордость нормандской знати была уязвлена позорным союзом Роберта с Герлевой. Все его родственники, которые имели хоть какие-то права на герцогскую корону, были вне себя от ярости. У Эстриты не было детей, и этот пухлый розовощекий малыш, который рос в доме кожевника, был заклятым врагом всех этих гордых лордов и джентльменов. Фалез был средоточием скандалов и насмешек. Сплетни о жизни Роберта переносились от деревни к деревне по Нормандии и Франции. Рядовые горожане смеялись в лицо баронам и придворным, когда те проходили по улицам Фалеза. Однажды один старый бюргер, живший по соседству с кожевником, предложил Вильгельму Талвасу, главе одного из самых знаменитых нормандских семейств, пойти с ним посмотреть на сына герцога. Лорд Алансона очень разозлился, когда всмотрелся в невинное детское лицо. Он почти явственно чувствовал те беды, которые обрушатся на его голову и которые таит в себе до поры эта энергичная молодая жизнь. И как ни проклинал он вновь и вновь наивного ребенка, его слова были лишь отголоском страха, который полз по Нормандии.
Роберт был слишком смел в своем полном пренебрежении общественным мнением, и не проходит много времени, как старый кожевник сбрасывает свою одежду, подобно личинке, сбрасывающей кокон, и предстает во всем великолепии, в сверкающем наряде придворного гофмейстера. Герлева заняла место герцогини, что было противозаконно и настолько оскорбило гордость знатных дам и джентльменов, что никакие великодушие и щедрость Роберта не могли противостоять этому. Нравы в то время были достаточно свободными, но общественное мнение требовало соблюдения законов и этикета. Весь аристократический двор потомков Рольфа, вся доблесть, образованность и религиозность Нормандии были оскорблены в мгновение ока. Недовольство нарастало, пока дядя герцога, архиепископ Руана, не призвал племянника к ответу за этот грех и за оскорбление родственников. В конце концов он отлучил Роберта от церкви и предал анафеме всю Нормандию.
Каким-то образом этот конфликт был все-таки улажен, и именно тогда Роберта призвали погасить уже упомянутую ссору во Фландрии и поддержать права французского короля. Успех в этом предприятии добавил к его владениям район Ваксен, расположенный между Нормандией и Францией. В результате нормандское герцогство расширило свои границы до самых стен Парижа. Вскоре другие важные вопросы увели в сторону общественное обсуждение. На то, чтобы спровоцировать вспышку гнева герцога, не оставалось времени. И уже никто не обращал особого внимания ни на досадное присутствие Герлевы в замке герцога, ни на неуместное, по мнению обывателей, благополучное развитие и процветание ее сына.