Во многом благодаря ему нацистская Германия к началу Второй мировой войны располагала пятью танковыми дивизиями, готовыми пойти в бой. Еще несколько танковых дивизий находились на различных стадиях формирования. Военные училища готовили офицеров-танкистов, танковые заводы стабильно увеличивали производство броневых машин. Они уже прошли испытания не только на армейских учениях и полигонах, но и на полях гражданской войны в Испании.
Приказ о начале вторжения в Польшу Гудериан получил 22 августа 1939 г. 1 сентября гитлеровский генерал во главе своих танковых войск пересек государственную границу и всего за четыре дня войны сумел прорвать линию обороны польской армии. Польские войска были не в силах противостоять германским танковым ударным группам – дело доходило даже до атаки танков кавалерийским эскадроном. К 16 сентября сопротивление вооруженных сил Польши было сломлено, варшавское правительство бежало в Лондон. Заслуги же Гудериана были отмечены Рыцарским крестом.
Победа германской бронетанковой армады произвела большое впечатление на современников, особенно на людей, сведущих в военном деле.
В конце 1940 г. Гудериан был назначен командующим 2-й танковой группой, нацеленной на Францию. Быстро пройдя Бельгию и форсировав реку Марну, немецкие танки внезапно атаковали французские войска, которые не успели подготовиться к вторжению неприятеля. Потерпев поражение, французы оставили хорошо укрепленную линию Мажино.
Во всех боях с танковыми колоннами генерал-полковника Гудериана французы терпели поражения. Хотя они и их союзники-англичане имели численное превосходство, германские бронетанковые войска за месяц овладели городами Седаном, Кале и Булонью, выйдя на берега пролива Ла-Манш. Гудериан тем самым отрезал английский гарнизон Кале от главных сил союзников. Битву за Фландрию они проиграли и в большой спешке эвакуировались на Британские острова.
Гудериан планировал добить остатки англо-французских войск, которые в приморском Дюнкерке ожидали отправки в Англию, но гитлеровское командование приказало ему наступать в южном направлении. Танки Гудериана прорвались к городу Шалон-сюр-Марн. Здесь они почти не встречали сопротивления. Франция капитулировала перед гитлеровской Германией 22 июня 1940 г. К этому дню немецкие танки дошли уже почти до самой границы Швейцарии, вступив в город Нанси.
Во время вторжения немецких войск во Францию Гудериан продемонстрировал истинные возможности бронетанковых войск в современной войне. Между Намюром и Седаном его танки успешно прорвали французские позиции на 50-мильном фронте. А при совершении марша на запад к Абвилю за семь дней прошли более 200 миль, правда, при слабом сопротивлении противника.
Однако ради справедливости следует заметить, что во Франции столь же успешно действовал еще один военачальник германских танковых войск. Это был генерал-полковник Пауль фон Клейст, который и разделил с Гудерианом славу танковых побед на французской земле.
И в Польше, и во Франции идея танкового блицкрига блестяще оправдала себя. Генерал Гудериан стал одним из главных военных идеологов Третьего рейха и принимал самое деятельное участие в подготовке вторжения немецких войск в Советский Союз.
В июне 1941 г. танковые колонны Гудериана шли в первом эшелоне гитлеровской армии, пронизывая оборону советских войск на главных направлениях. В октябре этого же года он принял командование 2-й танковой армией, которая входила в состав группы армий «Центр» генерал-фельдмаршала фон Бока. Этой группе армий предстояло наступать через Смоленск на Москву. Танковая армия Гудериана участвовала в окружениях советских войск под Минском, Смоленском и в районе Лохвицы.
В начале сентября армия Гудериана, переброшенная на усиление группы армий «Юг», участвовала в операции по окружению Киева, в районе которого оборонялись четыре советские армии. Танковый клин 2-й армии наступал на город Нежин, идя на соединение с танковыми войсками генерал-полковника Пауля фон Клейста. Однако блестящего танкового блицкрига под Киевом не получилось, и немцы добились здесь лишь большого тактического успеха, что задержало их наступление на Москву.
Киев пал 19 сентября, а южнее города в излучине Днепра в котле оказалось более 600 тысяч советских войск. Попытки маршала С.М. Буденного прийти на помощь окруженным оказались тщетными. Те вели упорные бои, неоднократно пытаясь вырваться из котла. Оставшись без боеприпасов и при полном господстве немецкой авиации в воздухе, большая часть этой группировки советских войск оказалась в плену. В годы Великой Отечественной войны это было одним из самых крупных поражений Красной армии.