Разведчики продолжали осведомлять обоих полководцев о действиях противника, но нормандцы, снявшиеся с лагеря и впервые увидевшие армию Гарольда, все же оказались не готовы к увиденному. Объединенные англо-датские силы сосредоточились вокруг одного холма, а неподвижность и дисциплину хускэрлов и тэнов, стоящих на боевых позициях, еще долгое время после битвы с удивлением вспоминали победители. В это время Вильгельм — вероятно, без всякой спешки и не видя угрозы со стороны английских застрельщиков — развернул свое войско. На передние позиции он отправил легкую и тяжелую пехоту — по большей части, лучников (Гильом де Пуатье утверждает, что среди них были и арбалетчики, однако на ковре их изображения нет), — и дал им в подкрепление конные отряды. Сам он находился в центре, где были сосредоточены нормандские части, в то время как на левом фланге располагались в основном бретонцы, а на правом — все остальные французские союзники. Атака не удалась. Вероятно, лучники, подгоняемые нетерпеливыми всадниками, приблизились к врагу слишком близко, так что на них обрушился град метательных снарядов англичан — копий всех видов, топоров, стрел, а также палок с привязанными камнями. Рыцари промчались сквозь ряды лучников и стали метать дротики, а затем, обнажив мечи, атаковали стену из щитов. Итак, началась тяжелая битва. Судя по тому, как представлена очередность событий на ковре из Байе, именно тогда погибли двое братьев Гарольда — Гирт и Леофвин. Однако первый натиск врага англичанам удалось отразить. Щиты и доспехи нормандцев не очень хорошо защищали от двуручных боевых топоров, и, кроме того, на атакующую сторону градом посыпались стрелы и дротики, которые англичане метали из тыла. Необходимый темп наступления был утерян, конница дрогнула, и все воины, пехотинцы и конники — а бретонцы на левом фланге в первую очередь, — пустились в бегство, преследуемые англичанами, которые решили, что победа уже у них в руках. Вильгельм, вероятно, сражался спешившись — во время битвы под ним пали три коня, — и все решили, что он погиб. Однако он остался в живых и сумел выправить положение. Когда волна бегущих с холма войск чуть не увлекла его за собой, герцог с непокрытой головой, громко крича, что он жив, стал гнать их обратно и не прекратил панику, но и собрал достаточные силы конницы, чтобы отрезать английским преследователям путь к отступлению, а затем окружить и уничтожить их.
Вероятно, Гильом де Пуатье прав в том, что превратить поражение в победу герцогу удалось благодаря своему хладнокровию и решительности, ибо, как писал автор «Беовульфа», «судьба всегда благоволит к человеку, еще не обреченному на гибель, если он сохраняет силу духа». Гарольду была предоставлена прекрасная возможность для всеобщего наступления, но он ее упустил. Если бы он пошел в контрнаступление со всем войском, то наверняка бы сломил всякое сопротивление нормандцев. Однако то ли нерешительность, то ли упрямое нежелание отступиться от задуманного плана, то ли осторожность, то ли неспособность воодушевить своих обескураженных воинов, привели к тому, что он не предпринял никаких активных действий, а просто ждал, что будет дальше. Тем самым он дал Вильгельму время перестроиться и напасть в любом пункте и в любой момент. Вильгельм второй раз пошел в наступление, но хотя правый фланг и особенно конница под командованием Роберта де Бомона сражались очень храбро, а в стене из щитов были пробиты бреши, сама стремительность нападавших помогла англичанам сомкнуть ряды. Давка была такой, что даже убитые не могли упасть на землю. Нормандцы снова были вынуждены отступать, но на этот раз они, возможно, умышленно увлекали за собой англичан, чтобы безжалостно рубить их на открытой местности. Эту хитрость, примененную когда-то норманнами в битве при Мессине и нормандцами при Арке, конница повторила несколько раз. Вильгельм уже понял слабость англичан. Одну за другой он стал посылать против сокращавшейся в численности фаланги противника свои конные части и уже более разумно использовал лучников. Битва была, как писал Гильом де Пуатье, действительно странная — одна сторона постоянно перемещалась, а другая оставалась стоять как вкопанная на одном месте.