Первым народным комиссаром (наркомом) внутренних дел СССР стал председатель ОГПУ Генрих Григорьевич Ягода.
В состав Главного управления государственной безопасности (ГУГБ) НКВД СССР вошли следующие оперативные подразделения.
Особый отдел (ОО) — контрразведка и борьба с вражескими проявлениями в армии и на флоте; 255 сотрудников; начальник М. И. Гай.
Секретно-политический отдел (СПО) — борьба с враждебными политическими партиями и антисоветскими элементами; 196 сотрудников; начальник Г. А. Молчанов.
Экономический отдел (ЭКО) — борьба с диверсиями и вредительством; 225 сотрудников; начальник Л. Г. Миронов.
Иностранный отдел (ИНО) — разведка за границей; 81 сотрудник; начальник А. X. Артузов.
Оперативный отдел (Оперод) — охрана руководителей партии и правительства, обыски, аресты, наружное наблюдение; 293 сотрудника; начальник К. В. Паукер.
Специальный отдел (Спецотдел) — шифровальная работа, обеспечение секретности в ведомствах; 100 сотрудников; начальник Г. И. Бокий.
Транспортный отдел (ТО) — борьба с вредительством и диверсиями на транспорте; 153 сотрудника; начальник В. А. Кишкин.
Учетно-статистический отдел (УСО) — оперативный учет, статистика, архивы; 107 сотрудников; начальник Я. М. Генкин.
Всего в штате центрального аппарата НКВД СССР числилось 8211 оперативных и технических сотрудников.
Нельзя не упомянуть и о том, что структура и функции НКВД неоднократно менялись на основании постановлений СНК СССР. Так, например, 22 ноября 1934 года был образован Одел лесной охраны; 15 июня 1935 года — Главное управление государственной съемки и картографии; 28 января 1936 года — Управление коменданта Московского Кремля; 11 июня 1938 года — Главное архивное управление (ГАУ НКВД), и это еще не всё. Подробно изменения в структуре НКВД и работу различных его подразделений мы рассматривать не будем, остановимся лишь на «советской разведке», как ее стали именовать в тот период.
Всего при образовании штат ГУГБ НКВД насчитывал 1410 сотрудников. Фактическим руководителем его являлся первый заместитель наркома. Официально на эту должность назначались: Я. С. Агранов (с 29 декабря 1936 года), М. П. Фриновский (с 15 апреля 1937 года), Л. П. Берия (с 29 сентября 1938 года), В. Н. Меркулов (с 16 декабря 1938 года)[22]
.Уже в начале 1930-х годов в недрах ОГПУ шли сложные и весьма противоречивые процессы. На смену опытным сотрудникам школы Дзержинского, покинувшим по разным причинам органы госбезопасности, приходило молодое пополнение, не только не знавшее в должной мере контрразведывательной работы, но и стремившееся добиваться результатов любой ценой, в том числе используя незаконные методы ведения следствия и прибегая к фабрикации уголовных дел.
Первые тревожные симптомы проявились летом 1931 года, когда в ГПУ Украины были вскрыты факты фальсификаций в процессе проведения операции «Весна», явно умышленно раздутой. Но эта практика получила одобрение Ягоды, хотя и встретила сопротивление со стороны заместителя председателя ОГПУ С. А. Мессинга, начальника Административно-организационного управления И. А. Воронцова и начальника Секретнооперативного управления Я. К. Ольского (все трое впоследствии были репрессированы), а также других руководителей чекистских органов.
Однако на совещании в ЦК ВКП(б) в августе 1931 года Ягоду поддержал Сталин, а по результатам обсуждения было принято решение разогнать «гнилых либералов» в руководстве органов безопасности, чья деятельность якобы вела к «расшатыванию железной чекистской дисциплины и ослаблению бдительности органов ОГПУ».
Вскрытые факты массовых необоснованных репрессий, сопровождавших сплошную коллективизацию, были объявлены «отступлением от правильной судебной политики», а циркуляр Наркомата юстиции предписал прокурорским работникам впредь «бороться против ненужного массового привлечения и огульного применения репрессий».
Получив после образования НКВД всю полноту власти в свои руки, пользовавшийся доверием Сталина Ягода первым делом провел расстановку преданных ему кадров на ключевые посты, а затем принялся насаждать собственные представления о методах чекистской деятельности.
Поскольку никакого положения о НКВД СССР и его органах на местах принято не было, то в правовом отношении деятельность этого наркомата, а также деятельность подчиненных ему подразделений госбезопасности не была урегулирована должным образом. А это создавало предпосылки для произвола, беззакония и злоупотреблений властью, что крайне отрицательно сказалось на деятельности НКВД.