Со сходной ситуацией немцы столкнулись в Северной Африке, где короткая пушка Pz.IV оказалась бессильной перед мощно бронированными «Матильдами». Первые «четвёрки» выгрузили в Триполи 11 марта 1941 года, и было их совсем немного, что хорошо видно на примере 2-го батальона 5-го танкового полка 5-й лёгкой дивизии. По состоянию на 30 апреля 1941 года в батальон входили 9 Pz.I, 26 Pz.II, 36 Pz.III и только 8 Pz.IV (в основном машины модификаций D и Е). Вместе с 5-й лёгкой в Африке воевала 15-я танковая дивизия Вермахта, располагавшая 24 Pz.IV. Наибольшего успеха эти танки достигали в борьбе с британскими крейсерскими ганками А.9 и А.10 – подвижными, но легкобронированными. Главным же средством борьбы с «матильдами» стали 88-мм зенитные пушки, а основным немецким танком на этом театре в 1941 году был Pz.III. Что касается Pz.IV, то в ноябре их в Африке осталось всего 35 штук: 20 – в 15-й танковой дивизии и 15 – в 21-й (преобразована из 5-й лёгкой).
Невысокого мнения о боевых качествах Pz.IV придерживались тогда и сами немцы. Вот что пишет по этому поводу в своих воспоминаниях генерал-майор фон Меллентин (в 1941 году в звании майора он служил в штабе Роммеля): «Танк T-IV завоевал у англичан репутацию грозного противника главным образом потому, что был вооружён 75-мм пушкой. Однако эта пушка имела низкую начальную скорость снаряда и слабую пробивную способность, и, хотя мы и использовали T-IV в танковых боях, они приносили гораздо большую пользу как средство огневой поддержки пехоты». Более существенную роль на всех театрах военных действий Pz.IV стал играть только после приобретения «длинной руки» – 75-мм пушки KwK 40. Первые машины модификации F2 доставили в Северную Африку летом 1942 года. В конце июля Африканский корпус Роммеля располагал всего 13 танками Pz.IV, из которых 9 были F2. В английских документах того периода они именовались Panzer IV Special. Накануне наступления, которое Роммель намечал на конец августа, во вверенных ему немецких и итальянских частях насчитывалось около 450 танков, в их числе 27 Pz.IV Ausf.F2 и 74 Pz.III с длинноствольными 50-мм пушками. Только эта техника представляла опасность для американских танков «Грант» и «Шерман», количество которых в войсках 8-й английской армии генерала Монтгомери накануне сражения у Эль-Аламейна достигало 40 %. В ходе этого во всех отношениях переломного для Африканской кампании сражения немцы потеряли почти все танки. Частично восполнить потери им удалось к зиме 1943 года, после отхода в Тунис.
Несмотря на очевидность поражения, немцы приступили к реорганизации своих сил в Африке. 9 декабря 1942 года в Тунисе была сформирована 5-я танковая армия, в которую вошли пополненные 15-я и 21-я танковые дивизии, а также переброшенная из Франции 10-я танковая дивизия, имевшая на вооружении танки Pz.IV Ausf.G. Сюда же прибыли и «тигры» 501-го тяжёлого танкового батальона, которые вместе с «четвёрками» 10-й танковой участвовали в разгроме американских войск у Кассерина 14 февраля 1943 года. Однако это была последняя удачная операция немцев на Африканском континенте – уже 23 февраля они были вынуждены перейти к обороне, их силы быстро таяли. На 1 мая 1943 года в войсках Роммеля имелось только 58 танков – из них 17 Pz.IV. 12 мая немецкая армия в Северной Африке капитулировала.
На Восточном фронте Pz.IV Ausf.F2 также появились летом 1942 года и приняли участие в наступлении на Сталинград и Северный Кавказ. После прекращения в 1943 году производства Pz.III «четвёрка» постепенно становится основным немецким танком на всех театрах боевых действий. Впрочем, в связи с началом выпуска «Пантеры» планировалось прекратить производство и Pz.IV, однако благодаря жёсткой позиции генерального инспектора Панцерваффе генерала Г. Гудериана, этого не произошло. Дальнейшие события показали, что он был прав…
К лету 1943 года в штат немецкой танковой дивизии входил танковый полк двухбатальонного состава. В первом батальоне две роты вооружались Pz.IV, а одна – Pz.III. Во втором – только одна рота имела на вооружении Pz.IV. В целом дивизия располагала 51 Pz.IV и 66 Pz.III в боевых батальонах. Однако, судя по имеющимся данным, число боевых машин в тех или иных танковых дивизиях подчас сильно отличалось от штата.