Гитлер остался недоволен таким новогодним поздравлением. Некоторые историки считают, что это недовольство было вызвано нарушением планов фюрера, который собирался якобы направить Роммеля на Восточный фронт. Прямых доказательств такой версии нет, как нет и фактов, свидетельствующих об обратном. Кроме таких косвенных аргументов, как то, что Гитлер в этот период терпеть не мог менять свои планы в угоду кому бы то ни было, а послать Роммеля против советских войск он мог бы сразу, не отвлекая его ни на защиту Италии, ни на инспекцию Атлантического вала. Более логично предположить, что Гитлер опасался близящихся конфликтов между двумя фельдмаршалами на одной территории. Во всяком случае, если такие опасения были, то они оправдались.
Формально спор между ними разгорелся из-за танковых дивизий, относящихся к резерву главнокомандующего вооруженными силами на Западе. Рундштедт считал, что их лучше расположить в центре Франции, чтобы можно было в удобный момент вступить в крупное танковое сражение с уже высадившимся десантом. Роммель же был уверен, что противника надо встречать в момент высадки и ни в коем случае не давать ему закрепиться на берегу. По сути, различие их решений основывалось на том, что у Рундштедта не было опыта прямых столкновений с противотанковыми силами англичан и американцев, а Роммель уже знал, насколько опасна для танков специализированная авиация противника. Может быть, он был единственным военачальником Третьего рейха, кто понимал, что время побед в крупных танковых сражениях миновало. Теперь все решала тяжелая авиация, от которой так преступно отвернулись перед войной основатели люфтваффе.
Неумение штабистов фюрера правильно оценивать достоинства изменяющейся военной техники привело к тому, что настойчивость Роммеля осталась непонятой и не поддержанной никем. Очевидно, Роммель, не зная о ситуации на Восточном фронте, слишком переоценивал значение возможного англоамериканского десанта. Но если бы он был прав, то Германия проиграла бы войну из-за приверженности опытных фельдмаршалов своему прошлому опыту и неспособности основывать свои планы на особенностях конкретной ситуации. В любом случае разгром десанта мог бы во многом изменить ход дальнейших событий.
Гитлер решил спор фельдмаршалов наихудшим способом, приняв соломоново решение удовлетворить просьбу каждого: треть имеющихся танков он отдал Рундштедту, треть — Роммелю, а остальные оставил в резерве. Таким образом мощная танковая армия была разбита на мелкие части, неспособные оказать сопротивления поднаторевшему в уничтожении танков с помощью авиации противнику.
Как обычно, успокаивая себя мыслью, что танков могло и вообще не быть, Роммель принялся укреплять район ожидаемой высадки. Огромное количество береговых заграждений, небывалое количество мин, противотанковые рвы, доты, дзоты, антипланерные преграды, ложные укрепления и система скрытых переходов — все было пущено им в ход для решительного сопротивления десанту. Кроме того, он постоянно просил ставку выделить в его распоряжение несколько танковых бригад из резерва, что постоянно отвергалось Рундштедтом, фельдмаршалами генерального штаба и самим Гитлером. У Роммеля появились признаки переутомления. 4 июня 1944 года он, узнав о неблагоприятном метеорологическом прогнозе, обещавшем туман, из-за которого возможность, высадки десанта сводилась к нулю, отправился на побывку домой, чтобы на следующий день явиться в ставку и добиться аудиенции у фюрера. Однако несмотря на непогоду англо-американские войска высадились в Нормандии 6 июня. В рядах защитников началась паника. Отсутствие командующего вызвало катастрофу, сопротивление было полностью парализовано.
Ночью Роммель вернулся на боевые позиции, но было поздно. Он еще сумел организовать контратаку и даже пробился в некоторых местах к побережью, но там его встретили шквальный огонь эскадры и удары тяжелых бомбардировщиков. Роммель вынужден был отступить, но продолжал сопротивление еще в течение шести недель. Превосходство англо-американских войск в силе, и особенно в технике было разительным. Гитлер не смог помочь своим войскам ни пехотой, ни танками, ни боеприпасами. Роммель отправил фюреру меморандум, более похожий на ультиматум, но ответа не получил.
Вообще его восторги по поводу Гитлера и всей национал-социалистической идеи давно уже охладели до минимума. То, что он считал случайностью в Северной Африке, оказалось традиционной системой гитлеровского штаба. Теперь ему бросались в глаза те явления, которых раньше он просто не замечал. Проведя некоторое время дома, он подробно узнал о гонениях на евреев, понаслушался о концлагерях и зверствах эсэсовцев. У Роммеля появились все основания вступить в антигитлеровский заговор. Он обращался к другим высшим офицерам рейха с предложением арестовать Гитлера и судить его как военного преступника. Против физического уничтожения фюрера он возражал с самого начала и до конца.