Положение немецких частей было особенно сложным. Теоретически, различие между военным и гражданским управлением было достаточно очевидным. Армейские части осуществляли военное управление, а части СС и полиции — гражданское. Однако сферы деятельности этих учреждений часто пересекались, особенно это становилось заметно при проведении крупномасштабных карательных операций. На территориях, находящихся под контролем армии, армия отвечала за порядок. Но вся полнота власти оказалась разделенной между местными армейскими командирами и генерал-квартирмейстером. Если армейские командиры подчинялись ОКХ, то генерал-квартирмейстер — ОКВ. Ситуацию осложняло и то, что на этих территориях часто находились большие силы полиции и СС. Теоретически они должны были подчиняться армейскому командованию, но в действительности они действовали самостоятельно. Дело несколько упростилось в 1942 году, когда Гиммлера (Himmler) назначили ответственным по борьбе с партизанами на территории протекторатов, а начальник генштаба отвечал за борьбу с партизанами в прифронтовой зоне. На должность координатора контрпартизанской деятельности на Востоке был назначен генерал СС фон дем Бах-Залевски (Bach-Zalewski). Однако путаница с зонами контроля продолжалась. И не только на Востоке, но и на Балканах, где система, дублирующая обязанности СС и армии, часто приводила к напрасной трате сил.
Сержант (справа) и рядовой польской Армии Крайовой во время Варшавского восстания, 1944 год. Оба носят довоенную польскую армейскую униформу.
Теоретически, войска СС должны были выступать в роли элитарной жандармерии, охраняя захваченные территории (попутно осуществляя расовую политику, провозглашенную фашистским руководством). Так дело обстояло в Польше, но с началом oпeрации «Барбаросса» почти весь личный состав СС оказался на передовой, поэтому кроме печально известных Einsatzgruppen, безопасность осуществляли всего пара бригад и кавалерийских полков. Постепенно полицейские формирования оказались разбавленными солдатами, набранными в Прибалтике и на Украине. Тем не менее СС продолжало осуществлять общий контроль в тыловых районах через высшие штабы СС, полиции и СД.
Немецкая военизированная полиция взяла на себя роль мобильной жандармерии. Каждый высший штаб СС и полиции располагал по меньшей мере одним полком, в том числе в Греции и Сербии. Со временем полиция тоже оказалась разбавленной местными добровольцами. В 1943 году полицию разделили на SS-Polizei и Schutzpolizei. Но территории, контролируемые полицией, были столь обширны, что полиции часто требовалась дополнительная поддержка. В первое время после оккупации какой-либо территории, в поддержку немецкой полиции придавались местные полицейские части и отряды ополченцев. В России многие из таких отрядов, известных под названием Schutzmanschaften (или коротко «Schuma») укомплектовывались жителями Прибалтики, казаками и украинцами. В составе Schuma выделялись «фронтовые» и «караульные» части. В Сербии, Хорватии и Черногории полицейские добровольческие полки были сформированы на базе Volksdeutsche Hilfspolizei.
Хотя на территориях, контролируемых армией, действовали части СС и полиции, армия формировала собственные полицейские части. Сначала в России дислоцировалось всего девять полицейских дивизий, каждая из которых состояла из одного линейного и одного ополченского (Landeschuetzen) полков, мобильного полицейского батальона и минимального количества артиллерии. Перед этими малочисленными и плохо оснащенными частями поставили совершенно нереальную задачу, тем более, что многие солдаты дивизий были отправлены на фронт. Поэтому начиная с 1942 года к оккупационным обязанностям стали привлекать резервные и полевые учебные дивизии, дислоцированные на оккупированных территориях. Недостаток в живой силе привел к тому, что армейские полицейские части стали укомплектовывать местными добровольцами. Несмотря на запрет Гитлера, были сформированы «восточные отряды» (Osttruppen), которые вскоре стали основной боевой силой полицейских дивизий.
На Балканах армия сформировала несколько так называемых «легких дивизий» с номерами, начинающимися с 700. Эти дивизии, состоящие из двух полков, укомплектовывались пожилыми людьми. Становилось ясно, что подобные формирования не могут остановить партизанского движения, поэтому дивизии усиливались случайными фронтовыми частями, оказавшимися в распоряжении. Например, для борьбы с партизанами одно время использовали 1-ю горнострелковую дивизию.
Офицер Армии Людовой (второй слева) в компании советских солдат. Офицер носит довоенную польскую гимнастерку с петлицами.