Первые три танка Panzer IV поступили в Вермахт в январе 1938 года. Общий заказ на боевые машины этого типа включал 709 единиц. План же на 1938 год предусматривал поставку 116 танков, и фирма Krupp-Gruson почти выполнила его, передав войскам 113 машин. Первыми «боевыми» операциями с участием Pz.IV стали аншлюсс Австрии и захват Судетской области Чехословакии в 1938 году. В марте 1939 года они прошли по улицам Праги.
Накануне вторжения в Польшу 1 сентября 1939 года в Вермахте насчитывалось 211 танков Pz.IV модификаций А, В и С. По действовавшему тогда штату в танковой дивизии должны были состоять 24 танка Pz.IV, по 12 машин в каждом полку. Однако до полного штата были укомплектованы лишь 1-й и 2-й танковые полки 1-й танковой дивизии (1. Panzer Division). Полный штат имел и Учебный танковый батальон (Panzer-Lehr-Abteilung), приданный 3-й танковой дивизии. В остальных соединениях числилось лишь по нескольку Pz.IV, которые по вооружению и броневой защите превосходили все типы противостоящих им польских танков. Однако 37-мм танковые и противотанковые пушки поляков представляли для немцев серьезную опасность. Например, во время боя у Гловачува польские 7ТР подбили два Pz.IV. Всего же за время польского похода немцы потеряли 76 танков этого типа, из них 19 безвозвратно.
К началу французской кампании — 10 мая 1940 года — Панцерваффе располагали уже 290 Pz.IV и 20 мостоукладчиками на их базе. В основном они были сконцентрированы в дивизиях, действовавших на направлениях главных ударов. В 7-й танковой дивизии генерала Роммеля, например, насчитывалось 36 Pz.IV. Их равноценными противниками были средние французские танки Somua S35 и английские «Матильда II». Не без шанса на победу могли вступать в бой с Pz.IV и французские В1bis и D2. В ходе боев французам и англичанам удалось подбить 97 танков Pz.IV. Безвозвратные же потери немцев составили всего 30 боевых машин этого типа.
В 1940 году удельный вес танков Pz.IV в танковых соединениях Вермахта несколько возрос. С одной стороны, благодаря росту производства, а с другой — из-за уменьшения количества танков в дивизии до 258 единиц. При этом большинство из них по-прежнему составляли легкие Pz.I и Pz.II.
Во время скоротечной операции на Балканах весной 1941 года Pz.IV, участвовавшие в боях с югославскими, греческими и английскими войсками, потерь не понесли. Планировалось использовать Pz.IV и в операции по захвату Крита, но там обошлись силами парашютистов.
К началу операции «Барбаросса» из 3582 боеготовых германских танков 439 были Pz.IV. Следует подчеркнуть, что по принятой тогда в Вермахте классификации танков по калибру орудия эти машины относились к классу тяжелых. С нашей стороны современным тяжелым танком был КВ — в войсках их насчитывалось 504 единицы. Помимо численного, советский тяжелый танк имел абсолютное превосходство и по боевым качествам. Преимуществом перед немецкой машиной обладал и средний Т-34. Пробивали броню Pz.IV и 45-мм пушки легких танков Т-26 и БТ. Короткоствольная же немецкая танковая пушка могла эффективно бороться только с последними. Все это не замедлило сказаться на боевых потерях: в течение 1941 года на Восточном фронте было уничтожено 348 Pz.IV.
Со сходной ситуацией немцы столкнулись в Северной Африке, где короткая пушка Pz.IV оказалась бессильной перед мощно бронированными «матильдами». Первые «четверки» выгрузили в Триполи 11 марта 1941 года, и было их совсем немного, что хорошо видно на примере 2-го батальона 5-го танкового полка 5-й легкой дивизии. По состоянию на 30 апреля 1941 года в батальон входили 9 Pz.I, 26 Pz.II, 36 Pz.III и только 8 Pz.IV (в основном машины модификаций D и E). Вместе с 5-й легкой в Африке воевала 15-я танковая дивизия вермахта, располагавшая 24 Pz.IV. Наибольшего успеха эти танки достигали в борьбе с британскими крейсерскими танками A.9 и A.10 — подвижными, но легкобронированными. Главным же средством борьбы с «матильдами» стали 88-мм зенитные пушки, а основным немецким танком на этом театре в 1941 году был Pz.III. Что касается Pz.IV, то в ноябре их в Африке осталось всего 35 штук: 20 — в 15-й танковой дивизии и 15 — в 21-й (преобразована из 5-й легкой).