В марте 1941 года в 5-м танковом полку 5-й легкой дивизии германского Африканского корпуса, высадившейся в Триполи, имелось 45 Pz.II, главным образом модели С. К ноябрю 1941 года, после прибытия 15-й танковой дивизии, число «двоек» на Африканском континенте достигло 70 единиц. В начале 1942 года сюда доставили еще одну партию Pz.II Ausf.F(Tp) — в тропическом исполнении. Переброску этих машин в Африку можно объяснить, пожалуй, только их малыми массой и габаритами по сравнению со средними танками. Немцы не могли не отдавать себе отчета в том, что против большинства танков 8-й английской армии «двойки» были бессильны и лишь высокая скорость помогала им выходить из- под обстрела противника. Впрочем, несмотря ни на что, Pz.II Ausf.F использовались здесь вплоть до 1943 года.
По состоянию на 1 июня 1941 года в гитлеровской армии насчитывалось 1074 боеготовых танков Pz.II. Еще 45 машин находилось в ремонте. В соединениях, предназначенных для участия в операции «Барбаросса» и сосредоточенных у границы Советского Союза, имелось 746 машин этого типа, что составляло почти 21 % от общего числа танков. По тогдашнему штату один взвод в роте должен был иметь на вооружении танки Pz.II. Но это положение соблюдалось не всегда: в одних дивизиях «двоек» было много, иногда сверх штата, в других — не было совсем. На 22 июня 1941 года Pz.II находились в составе 1-й (43 единицы), 3-й (58), 4-й (44), 6-й (47), 7-й (53), 8-й (49), 9-й (32), 10-й (45), 11-й (44), 12-й (33), 13-й (45), 14-й (45), 16-й (45), 17-й (44), 18-й (50), 19-й (35) и 20-й (31) танковых дивизий Вермахта. Кроме того, линейные «двойки» имелись и в составе 100-го и 101-го огнеметных танковых батальонов.
Pz.II без труда могли бороться с советскими легкими танками Т-37, Т-38 и Т-40, вооруженными пулеметами, а также с бронеавтомобилями всех типов. Легкие же танки Т-26 и БТ, особенно последних выпусков, поражались «двойками» лишь со сравнительно близких дистанций. При этом немецким машинам неизбежно приходилось входить в зону эффективного огня советских 45-мм танковых пушек. Уверенно пробивали броню Pz.II и советские противотанковые пушки. К концу 1941 года на Восточном фронте немецкая армия потеряла 424 танка Pz.II.
Тем не менее в 1942 году некоторое количество машин этого типа еще сохранялось в составе боевых частей Вермахта и войск СС. Правда, в отдельных соединениях их наличие было чисто символическим. Так, накануне немецкого летнего наступления на Восточном фронте Pz.II еще состояли на вооружении 1-й (2 единицы), 2-й (22), 3-й (25), 4-й (13), 5-й (26), 8-й (1), 9-й (22), 11-й (15), 13-й (15), 14-й (14), 16-й (13), 17-й (17), 18-й (11), 19-й (6), 20-й (8), 22-й (28), 23-й (27) и 24-й (32) танковых дивизий Панцерваффе. Помимо этого, они находились в боевом составе 3-й (10), 16-й (10), 29-й (12) и 60-й (17) моторизованных дивизий, дивизии «Великая Германия» (12) и моторизованной дивизии СС «Викинг» (12). В течение 1942 года на всех театрах боевых действий германская армия потеряла 346 Pz.II.
В 1943 году «двойки», постепенно вытесняемые из боевых подразделений, все чаще привлекались для несения патрульной службы, охраны штабов, разведки и противопартизанских операций. Потери за год составили 84 единицы, что говорит о резком сокращении количества Pz.II в войсках. Тем не менее на март 1945-го немцы еще располагали 15 такими танками в действующей армии и 130 — в армии резерва.
Башни Pz.II в значительных количествах использовались при создании различных долговременных огневых точек. На разного рода фортификационных сооружениях, как на Западе, так и на Востоке, находилось 100 башен Pz.II с 37-мм пушкой и 536 со штатной 20-мм KwK 30.
Кроме немецкой армии, «двойки» состояли на вооружении в Словакии (16 машин модификации F). В конце 1940-х годов несколько машин этого типа (по-видимому, бывших румынских) находилось в Ливане.