Последнее удалось ему блестяще, поскольку именно его группа армий с триумфом прошествовала сначала по Польше, а затем по Франции. Однако имеются основания предполагать, что, несмотря на повсеместно воздаваемые ему славу и почести, его постоянно мучила тревога. В русской кампании 1941 года Рундштедт снова подтвердил, что по праву носит военную форму. Действующие под его командованием войска разгромили русские армии на юге страны и отдали в руки немецких оккупантов полезные ископаемые и плодородные сельскохозяйственные угодья Украины. На этот раз даже победы не приносили морального удовлетворения и казались преддверием будущего краха. Еще задолго до конца Рундштедт испытывал опасения, поэтому и настоятельно советовал Гитлеру не нападать на Россию, чем вызвал недовольство фюрера. Когда же осенью встал вопрос, продолжать ли наступление на Москву, Рундштедт высказался не просто за остановку, а за отвод войск на исходную позицию. Этот совет не понравился Гитлеру еще больше. Одновременно и Рундштедта стало все больше раздражать вмешательство «капрала» Гитлера в командование войсками. Дело кончилось тем, что в ответ на очередной приказ Рундштедт отправил фюреру телеграмму, в которой говорилось, что, если фюрер ему не доверяет и не позволяет действовать по собственному усмотрению, ему (фюреру) придется подыскать на должность командующего войсками другую кандидатуру. Гитлер с радостью принял отставку, потому что постоянные протесты и сомнения генерала действовали ему на нервы, которые и так были истрепаны в погоне за ускользающей победой.
Рундштедту не пришлось отдыхать долго. Уже в начале 1942 года Гитлер попросил его принять командование войсками на западе, причем легко преодолел нерешительность генерала, напомнив о гражданском долге. Вступление в войну Соединенных Штатов увеличивало вероятность высадки союзников на континенте, и Рундштедт это отлично понимал. Следующие два года он посвятил подготовке к встрече надвигающейся опасности, попутно решая разнообразные проблемы, возникшие в процессе оккупации Германией Франции и стран Бенилюкса. В июне 1944 года опасность стала вполне реальной, но об этом уже говорилось ранее.
В роковой день 20 июля 1944 года Рундштедт уже находился в отставке, поэтому, когда поступили первые телеграфные сообщения от заговорщиков о том, что Гитлер убит, никак не мог поднять войска против нацистского режима. Как бы он повел себя, если бы находился на службе, сказать невозможно, но, скорее всего, не так, как большинство его коллег, которые после поступления уточненной информации о том, что фюрер остался жив, впали в ступор и в первое время лишились способности и соображать, и принимать разумные решения. Важно другое: имя Рундштедта никогда не связывалось с заговорщиками.
Многие солдаты, знавшие о неприязненном отношении Рундштедта к нацизму, ожидали, что он поведет их против Гитлера. Однако те, кто знал его лучше, не испытывали таких надежд. Он был в первую очередь прямым человеком, настолько строго придерживавшимся солдатского кодекса чести, что для него было попросту невозможным участие в заговоре, где нельзя было обойтись без хитрости и коварства. Кроме того, его репутация была столь незапятнанна, что приобрела даже некое символическое значение, поэтому коллеги старались держать своего идола в стороне от возможной грязи, с которой связан любой заговор, даже имеющий благие цели. К тому же нацистские шпионы, вертевшиеся вокруг всех генералов, следили за этим занимающим высокий пост генералом пристальнее, чем за другими.
В то же самое время некоторые генералы надеялись, что Рундштедт сумеет достичь соглашения о перемирии с англичанами и американцами или, по крайней мере, позволит им беспрепятственно войти в Германию, тем самым остановив русских. Надежды оказались похороненными после его смещения, последовавшего в начале июня, но возродились снова, когда в сентябре он вернулся. Нечто подобное собирался сделать Клюге 20 июля, но не решился. Причина его нерешительности заключалась, во-первых, в нежелании нарушать присягу, во-вторых, в опасении, что народ его не поймет и не поддержит. Кроме того, он считал, что солдаты на Восточном фронте будут иметь все основания упрекать своих коллег на Западном фронте в предательстве. Честно признаться, Клюге не хотелось войти в историю предателем своей страны. Понятно, что те же соображения повлияли на Рундштедта еще сильнее, когда в сентябре он вернулся к исполнению обязанностей. К тому же нельзя сбрасывать со счетов и чисто практические трудности, которые нелегко преодолеть человеку, находящемуся под неусыпным наблюдением. В результате внутреннего психологического конфликта между разумом и чувством долга, усиленного беспрерывным вмешательством Гитлера в его дела, Рундштедт впал в состояние абсолютной беспомощности и практически бездействовал на протяжении всей осени, и это в то время, когда союзники не сомневались, что он укрепляет немецкую линию обороны на западе.