К началу операции «Барбаросса» из 3582 боеготовых германских танков 439 были Pz.IV. Следует подчеркнуть, что по принятой тогда в вермахте классификации танков по калибру орудия эти машины относились к классу тяжёлых. С нашей стороны современным тяжёлым танком был КВ — в войсках их насчитывалось 504 единицы. Помимо численного, советский тяжёлый танк имел абсолютное превосходство и по боевым качествам. Преимуществом перед немецкой машиной обладал и средний Т-34. Пробивали броню Pz.IV и 45-мм пушки лёгких танков Т-26 и БТ. Короткоствольная же немецкая танковая пушка могла эффективно бороться только с последними. Всё это не замедлило сказаться на боевых потерях: в течение 1941 года на Восточном фронте было уничтожено 348 Pz.IV.
Со сходной ситуацией немцы столкнулись в Северной Африке, где короткая пушка Pz.IV оказалась бессильной перед мощно бронированными «матильдами». Первые «четвёрки» выгрузили в Триполи 11 марта 1941 года, и было их совсем не много, что хорошо видно на примере 2-го батальона 5-го танкового полка 5-й лёгкой дивизии. По состоянию на 30 апреля 1941 года, в батальон входили 9 Pz.I, 26 Pz.II, 36 Pz.III и только 8 Pz.IV (в основном машины модификаций D и Е). Вместе с 5-й лёгкой в Африке воевала 15-я танковая дивизия вермахта, располагавшая 24 Pz.IV. Наибольшего успеха эти танки достигали в борьбе с британскими крейсерскими танками А.9 и А.10 — подвижными, но легкобронированными. Главным же средством борьбы с «матильдами» стали 88-мм зенитные пушки, а основным немецким танком на этом театре в 1941 году был Pz.III. Что касается Pz.IV, то в ноябре их в Африке осталось всего 35 штук: 20 — в 15-й танковой дивизии и 15 — в 21-й (преобразована из 5-й лёгкой).
Невысокого мнения о боевых качествах Pz.IV придерживались тогда и сами немцы. Вот что пишет по этому поводу в своих воспоминаниях генерал-майор фон Меллентин (в 1941 году в звании майора он служил в штабе Роммеля):
Первые машины модификации F2 доставили в Северную Африку летом 1942 года. В конце июля Африканский корпус Роммеля располагал всего 13 танками Pz.IV, из которых 9 были F2. В английских документах того периода они именовались Panzer IV Special. Накануне наступления, которое Роммель намечал на конец августа, в вверенных ему немецких и итальянских частях насчитывалось около 450 танков: в их числе 27 Pz.IV Ausf.F2 и 74 Pz.III с длинноствольными 50-мм пушками. Только эта техника представляла опасность для американских танков «Грант» и «Шерман», количество которых в войсках 8-й английской армии генерала Монтгомери накануне сражения у Эль-Аламейна достигало 40 %. В ходе этого во всех отношениях переломного для Африканской кампании сражения немцы потеряли почти все танки. Частично восполнить потери им удалось к зиме 1943 года, после отхода в Тунис.
Несмотря на очевидность поражения, немцы приступили к реорганизации своих сил в Африке. 9 декабря 1942 года в Тунисе была сформирована 5-я танковая армия, в которую вошли пополненные 15-я и 21-я танковые дивизии, а также переброшенная из Франции 10-я танковая дивизия, имевшая на вооружении танки Pz.IV Ausf.G. Сюда же прибыли и «тигры» 501-го тяжёлого танкового батальона, которые вместе с «четвёрками» 10-й танковой участвовали в разгроме американских войск у Кассерина 14 февраля 1943 года. Однако это была последняя удачная операция немцев на Африканском континенте — уже 23 февраля они были вынуждены перейти к обороне, их силы быстро таяли. На 1 мая 1943 года в войсках Роммеля имелось только 58 танков — из них 17 Pz.IV. 12 мая немецкая армия в Северной Африке капитулировала.