3 февраля 1941 года Указом ПВС СССР НКВД был разделён на два наркомата: НКВД и НКГБ наркомом внутренних дел был назначен Л.П. Берия, а наркомом госбезопасности — В.Н. Меркулов. 3-й отдел (начальник — Д.Н. Шадрин), отвечавший за обыски, аресты и НН, оказался в структуре вновь образованного НКГБ.
Тогда же ОО ГУГБ НКВД был расформирован, а вместо него были созданы 3-е управление Наркомата обороны (далее — НКО) и Наркомата военно-морского флота (далее — НКВМФ), а также 3-й отдел НКВД с функциями бывшего ОО ГУГБ (оперативная работа в войсках НКВД).
Начальником 3-го отдела НКВД был назначен А.М. Белянов, начальником 3-го управления НКО — бывший начальник ОО ГУГБ А.И. Михеев, а начальником 3-го управления НКВМФ — бывший начальник 10-го отделения ОО ГУГБ А.И. Петров.
17 июля 1941 года на базе 3-го Управления НКО создано Управление особых отделов НКВД (далее — УОО)
Однако уже 20 июля 1941 года Указом ПВС СССР НКВД и НКГБ были вновь объединены в единый наркомат — НКВД СССР во главе с Л.П. Берия, а бывший нарком госбезопасности СССР В.Н. Меркулов стал его первым заместителем.
31 июля 1941 года приказом НКВД была объявлена новая структура центрального аппарата наркомата, в котором снова оказался 3-й спецотдел с теми же функциями. На 20 мая 1942 года штатное расписание спецотдела составляло 64 человека.
Начальники спецотдела:
— Кубаткин Пётр Николаевич (31.07–03.08.1941),
— Шередега Иван Самсонович (24.09–25.10.1941),
— Сазыкин Николай Степанович (25.10.1941 — 05.1943).
Он состоял из секретариата, группы учёта, машбюро, 7-и отделений НН, 2-х отделений агентурной установки, отделения опертехники, отделения оперативного розыска, отделения агентурное осведомление, отделения арестов и обысков, отделения кадров, автотехнического отделения и хозяйственно-финансового отделения.
11 января 1942 года совместным приказом НКВД и НКВМФ 3-е Управление НКВМФ было преобразовано в 9-й отдел (морской контрразведки) УОО НКВД.
14 апреля 1943 года Указом ПВС СССР из состава НКВД, вновь, как и в 1941 году, был выделен самостоятельный НКГБ, возглавить который было вновь поручено В.Н. Меркулову. После этого 3-й спецотдел был переведён в структуру НКГБ и разделён там на 8-й отдел 2-го Управления и 7-й отдел 3-го Управления.
19 апреля 1943 года постановлением СНК СССР № 415-138сс УОО НКВД (военная контрразведка) было возвращено в НКО и НКВМФ СССР. Были созданы Главное управление контрразведки (далее — ГУКР) «СМЕРШ» (сокр. «Смерть шпионам!») НКО и Управление контрразведки (далее — УКР) «СМЕРШ» НКВМФ.
21 апреля постановлением ГКО было утверждено Положение о ГУКР НКО, в соответствии с которым основные задачи органов ГУКР заключались в борьбе со шпионской, диверсионной, террористической и иной деятельностью иностранных разведок в частях и учреждениях РККА. В ГУКР для проведения НН, обысков и арестов был создан 9-й отдел, а в военно-морском УКР — оперативное отделение.
15 марта 1946 года сессия ВС приняла закон о преобразовании СНК в Совет Министров (далее — СМ) СССР, а наркоматов — в министерства. Соответственно НКВД был преобразован в Министерство внутренних дел (далее — МВД), а его территориальные органы — в управления и отделы.
5 марта 1953 года умер глава СССР Й.В. Сталин, и в тот же день состоялось совместное заседание Пленума ЦК КПСС, СМ и ПВС СССР, на котором было принято решение об объединении МГБ и МВД в одно министерство — МВД СССР. Приказом МВД № 002 от 14.03.1953 года была утверждена его структура:
— 1-е ГУ (контрразведка), в котором НН за иностранцами и охраной дипкорпуса занимался 13-й отдел (приказом МВД № 00169 от 23.04.1953 он был преобразован в 10-й отдел), начальник: Бойков Николай Васильевич (17.03.1953 — 18.03.1954);
— 2-е ГУ (разведка), в котором внешней контрразведкой занимался 9-й отдел (приказом МВД № 00141 от 22.04.1953 он был преобразован в 5-й отдел), Федосеев Сергей Михайлович (17.03–09.05.1953), Тарасов Дмитрий Петрович (09.05.1953 — 08.02.1954);
— 7-е ГУ, которое обеспечивало НН
и агентурную установку по заданиям подразделений центрального аппарата и территориальных органов МВД, начальник — Никольский Михаил Иванович (20.03.1953 — 17.03.1954).Структура 7-го ГУ имела следующий вид:
— секретариат,
— 1-й отдел — агентурная установка в 15 районах Москвы,
— 2-й отдел — агентурная установка в 10 районах Москвы,
— 3-й отдел — НН по заданиям 1-го и 2-го ГУ за лицами, подозреваемыми во враждебной деятельности,
— 4-й отдел — НН по заданиям 4-го и 5-го Управлений за лицами, подозреваемыми во враждебной деятельности,
— 5-й отдел — НН по заданиям 3-го и 6-го Управлений за лицами, подозреваемыми во враждебной деятельности,
— 6-й отдел — негласное наблюдение на режимных трассах Москвы),
— 7-й отдел — контроль за работой 7-х подразделений территориальных органов, обобщение опыта их работы, усовершенствование методов НН и агентурной установки),
— 8-й отдел — применение спецтехники, материально-техническое обеспечение,
— оперативное отделение (обыски и аресты),
— отделение кадров.
Структура ГУМ МВД получила следующий вид: