При Ежове, с 28 ноября 1936 года, Особый, 5-й, отдел ГУГБ НКВД СССР возглавил комиссар госбезопасности 2-го ранга И. М. Леплевский, который 14 июля 1937 года был назначен наркомом внутренних дел Украины, где осуществлял «политику массовых репрессий». Его сменил очень толковый комиссар госбезопасности 3-го ранга Н. Г. Николаев-Журид — бывший прапорщик, сотрудник Разведупра РККА, имевший не только опыт нелегальной работы в «белом лагере», но и в отличие от самоучки Леплевского не законченное из-за войны высшее образование…
Главное управление госбезопасности просуществовало недолго: 28 марта 1938 года состоялось решение Политбюро об очередной реорганизации НКВД и ликвидации ГУГБ. Новая структура НКВД СССР была объявлена приказом № 00362 от 9 июня. В состав наркомата вошли три управления: Первое — Государственной безопасности, Второе — Особых отделов, Третье — Транспорта и связи.
В состав Второго управления — оно же Управление особых отделов НКВД СССР — входили отделы: 1-й — авиация, 2-й — автобронетанковые и технические войска, 3-й — пехота, кавалерия, артиллерия, 4-й — ВМФ, 5-й — штабная служба, ПВО, связь, Разведывательное управление (РУ) РККА, снабжение и финансы РККА, 6-й — оперативный, занимавшийся арестами, обысками, наружным наблюдением.
Начальником Второго управления был назначен комиссар госбезопасности 1-го ранга Л. М. Заковский (Генрих Эрнестович Штубис), одновременно продолжавший руководить УНКВД по Московской области и исполнять обязанности заместителя наркома внутренних дел. Но в течение апреля он был постепенно освобожден от всех этих своих должностей, а в ночь на 30 апреля арестован по обвинению «в шпионаже и участии в деятельности правотроцкистской организации». В конце лета Заковского расстреляли.
«Заковский в ночь на 16 октября 1920 года арестовал 315 бывших офицеров и военных чиновников, из-за чего “большинство учреждений в Одессе, подведомственных Киевскому военному округу, поставлены в катастрофическое положение”. Основная их часть была некоторое время спустя освобождена, но многие не вырвались из подвалов Заковского: только в 1920-м одесские чекисты арестовали 10 225 чел. И расстреляли 1418. Одним из крупнейших дел, сфабрикованных подчиненными Заковского, стала объединенная организация белогвардейцев, петлюровцев и польских шпионов, по которой 194 чел. были арестованы, из них 100 — расстреляны».
Должность начальника управления занял комбриг Н. Н. Федоров, арестованный 28 ноября 1938 года и расстрелянный в начале февраля 1940-го.
В ряде источников утверждается, что Н. Н. Федоров вел уголовное дело Маршала Советского Союза В. К. Блюхера. Однако по имеющимся документам это не просматривается. Но известно, что именно он арестовал Василия Константиновича в Сочи 22 октября 1938 года.
Федорова на посту руководителя военной контрразведки сменил полковник Виктор Михайлович Бочков, до того исполнявший обязанности начальника Главного тюремного управления НКВД СССР. Затем, к слову, он был прокурором СССР, начальником Управления охраны ГУЛАГ МВД СССР, скончался в 1981 году, в возрасте восьмидесяти лет, генерал-лейтенантом и кавалером десяти орденов.