«Особисты» должны были находиться как в штабах, обеспечивая режим секретности, так и в первых эшелонах при командных пунктах. Тогда же военные контрразведчики получили право вести следственные действия в отношении военнослужащих и связанных с ними гражданских лиц, при этом санкцию на аресты среднего командного состава они должны были получать от Военного совета армии или фронта, а старшего и высшего начальствующего состава — от наркома обороны.
Началась организация контрразведывательных отделений 3-х отделов военных округов, армий и фронтов, их структура предусматривала наличие трех отделений — по борьбе со шпионажем, националистическими и антисоветскими организациями и антисоветчиками-одиночками.
«Особистами» были взяты под контроль военные сообщения, доставка военного снаряжения, вооружений и боеприпасов в действующую армию, для чего на железных дорогах были учреждены третьи отделения, деятельность которых переплеталась (и, видимо, в чем-то дублировала) с органами госбезопасности на транспорте.
В начале июля 1941 года начальник 3-го управления НКО А. Н. Михеев приказом наркома Тимошенко получил право самостоятельно назначать на должности в структуре особых отделов вплоть до заместителей начальников окружных и фронтовых третьих отделов.
Совместным приказом НКО и НКВМФ 15 июля
1941 года третьи отделы были организованы при ставках главнокомандующих Северо-Западного, Западного и Юго-Западного направлений. Уже через два дня сменилось подчинение армейских органов военной контрразведки, вернувшихся в систему госбезопасности.
Постановлением Государственного Комитета Обороны СССР № 187/сс от 17 июля 1941 года, подписанным И. Сталиным, органы 3-го управления НКО СССР были реорганизованы в Особые отделы НКВД СССР. В их функции входила борьба со шпионажем и предательством в РККА и с дезертирством в прифронтовой полосе (с правом ареста и расстрела на месте дезертиров). Изменился порядок подчинения. Теперь уполномоченный особого отдела в полку и в дивизии кроме своего непосредственного начальства в НКВД подчинялся комиссару полка и дивизии (после введения в октябре
1942 года в армии и на флоте института единоначалия — соответственно командиру полка и соединения).
Директива НКВД СССР № 169 о задачах особых отделов в связи с реорганизацией органов военной контрразведки была издана 18 июля 1941 года и по мнению многих историков имела пропагандистский характер. На следующий день, 19 июля 1941 года, начальником Управления особых отделов НКВД СССР был назначен заместитель наркома внутренних дел СССР Виктор Семенович Абакумов.
В тот же день приказом № 00941 наркома НКВД СССР Л. П. Берии для борьбы с дезертирами, шпионами и диверсантами предписывалось сформировать при особых отделах дивизий и корпусов — стрелковые взводы, при особых отделах армий — отдельные стрелковые роты, при особых отделах фронтов — отдельные стрелковые батальоны, с укомплектованием этих частей из войск НКВД.
Уже в первые месяцы войны резко возросла потребность в военных контрразведчиках. Для решения этой задачи при Высшей школе НКВД СССР 26 июля 1941 года были организованы Курсы подготовки оперативных работников для особых отделов (приказ НКВД № 00960 от 23 июля 1941 года). Планировалось набрать 650 человек и обучать их в течение одного месяца. Начальником курсов был назначен по совместительству начальник Высшей школы НКВД комбриг (в приказе он проходит в этом звании, отмененном уже в 1940 году) Никанор Карпович Давыдов. Во время учебы первым слушателям курсов пришлось строить оборонительные сооружения, ловить под Москвой немецких парашютистов.
С 11 августа 1941 года эти курсы были переведены на трехмесячную программу обучения. В сентябре 1941 года 300 выпускников Высшей школы было направлено в подразделения военной контрразведки.
Приказом начальника Высшей школы 28 октября 1941 года в особый отдел Московского военного округа было направлено 238 выпускников курсов. Последняя группа выпускников курсов в количестве 194 человек была направлена в распоряжение НКВД в декабре 1941 года. Затем Высшая школа была расформирована, потом вновь создана.
В марте 1942 года в Москве был организован филиал Высшей школы НКВД СССР. Там предполагалось обучить 500 человек в течение четырех месяцев. Первый набор был произведен из резерва работников Особого отдела НКВД Московского военного округа. В составе Высшей школы этот филиал находился до июля 1943 года, затем был передан в ГУ К «Смерш» НКО СССР. Всего за время войны курсы закончили 2417 чекистов, направленных в армию и на флот.
Одновременно шла подготовка кадров для особых отделов и в самой Высшей школе. Так, в 1942 году большая группа выпускников была направлена в распоряжение особого отдела Сталинградского фронта. А всего, за время Великой Отечественной войны Высшей школой для особых отделов было подготовлено 1943 человека.