Основой войск по охране тыла были пограничные части. К выполнению этой задачи в первые недели войны были привлечены 48 пограничных отрядов, 10 отдельных комендатур, 4 резервных пограничных полка, 2 отдельных резервных батальона и 23 части обеспечения. Вместе с ними участие в мероприятиях по охране тыла принимало 2/3 личного состава подразделений внутренних войск НКВД, которые были переданы в оперативное подчинение начальникам войск по охране тыла фронта. Произошло это 26 июня 1941 года, когда согласно Указанию заместителя комиссара внутренних дел СССР № 31 начальниками охраны войскового тыла пяти фронтов были назначены начальники пограничных войск НКВД. Им были немедленно переданы в оперативное подчинение пограничные, оперативные (с 1942 года внутренние), конвойные войска, войска НКВД по охране железнодорожных сооружений и особо важных предприятий промышленности. Также руководители республиканских и областных управлений НКВД получили разъяснение из Москвы, чем должны заниматься начальники охраны войскового тыла.
Если рассматривать количественное соотношение, то изначально к охране тыла ДКА (действующая Красная Армия) были привлечены 163 тысячи военнослужащих НКВД. Из них пограничников — 58 733 человека. По состоянию на 1 сентября 1941 года в охране тыла ДКА было задействовано военнослужащих пограничных войск — 52 821 человек, внутренних войск — 90 618 человек (в т. ч. оперативных — 19 262, железнодорожных — 34 679, по охране особо важных промышленных объектов — 20 796 и конвойных — 15 881). К февралю 1942 года общая численность пограничных войск, охранявших тыл действующей армии, увеличилась до 67 610 человек. Хотя в количественном отношении основную нагрузку продолжали нести внутренние войска. А к концу войны охраной тыла действующей армии были заняты 57 полков войск НКВД численностью 85 тыс. чел., не считая частей, выполнявших задачи по борьбе с бандитизмом. Войска также несли гарнизонную службу на территории, освобождаемой от противника.
Согласно Постановлению Государственного Комитета Обороны «Об охране важнейших промышленных предприятий», датированному 8 августа 1941 года, войска НКВД по охране железнодорожных сооружений и особо важных предприятий промышленности приняли под охрану 250 объектов 22 наркоматов (в т. ч. Наркомата авиационной промышленности, Наркомата нефтяной промышленности, Наркомата электростанций и др.). А к концу 1944 года под их охраной находились 487 заводов и других объектов.
Военнослужащие НКВД физически не могли обеспечить полноценную охрану всех объектов, поэтому к несению караульной службы были привлечены работники военизированной и вахтерской охраны. А органы НКВД с 12 августа 1941 года занимались определением количества постов, организацией пропускной системы и проверкой стрелков и сторожей.
В годы войны войсками НКВД охранялись около 3600 объектов на всех железных дорогах страны. Караулы войск сопровождали поезда с военными и ценными народнохозяйственными грузами. На 1 октября 1944 года численность занятых на этой службе частей составляла 100 тыс. человек.
В январе 1942 года Главное Управление внутренних войск НКВД СССР было расформировано. Вместо него были созданы: Управление войск НКВД СССР по охране железных дорог; Управление войск НКВД СССР по охране особо важных предприятий промышленности; Управление конвойных войск НКВД СССР.
Государственный Комитет Обороны своим постановлением от 4 января 1942 г. возложил на Внутренние войска выполнение задач, связанных с организацией и несением службы в освобожденных городах.
На войска возлагалось:
— несение гарнизонной (караульной) службы в этих городах;
— оказание помощи органам НКВД в выявлении и изъятии вражеской агентуры, бывших фашистских пособников;
— ликвидация авиадесантов, диверсионно-разведывательных групп противника, бандитских формирований;
— поддержание общественного порядка на освобожденных территориях.
К концу 1943 года войска выделяли 161 гарнизон в составе роты или батальона на территории 24 краев и областей СССР.
Постановлением ГКО № 716Зсс от 18 декабря 1944 года «на НКВД СССР была возложена охрана тыла действующей Красной Армии на территории Восточной Пруссии, Польши, Чехословакии, Венгрии и Румынии». Для этой цели планировалось передать НКВД «6 дивизий по 5000 чел. каждая, общей численностью 30 000 человек. Каждая дивизия трехполкового состава без артиллерии». Если в первые годы войны для формирования таких воинских подразделений использовались резервы НКВД, то теперь Народного Комиссариата Обороны. Другая особенность — «укомплектование формируемых дивизий личным составом произвести на 50 % из числа ограниченно годных к строевой службе».
Одна из задач внутренних войск НКВД СССР — борьба с политическим и уголовным бандитизмом на территории Советского Союза. Условно ее можно разделить на три периода.