Оперативными управлениями являлись: I – Управление государственной безопасности (начальники – М. П. Фриновский, 28 марта – 8 сентября 1938 г.; и Л. П. Берия; 8–29 сентября 1938 г.; заместитель начальника – Н. Г. Николаев-Журид, 28 марта – 29 сентября 1938 г.); II – Управление особых отделов (начальники – Л. М. Заковский, 28 марта – 20 апреля 1938 г.; и Н. Н. Федоров, 28 мая – 29 сентября 1938 г.; заместители начальника – Н. Н. Федоров, 28 марта – 28 мая 1938 г.; Н. Е. Шапиро; 28 марта – 14 апреля 1938 г.; Н. Г. Николаев-Журид, 20 апреля – 9 июня 1938 г.; и М. К. Шляхтенко, 10 июля – 29 сентября 1938 г.); III – Управление транспорта и связи (начальники – Л. Н. Бельский, 28 марта – 8 апреля 1938 г.; И. М. Леплевский, 8–26 апреля 1938 г.; и Б. Д. Берман, 22 мая – 24 сентября 1938 г.; заместитель начальника – И. М. Леплевский, 28 марта – 8 апреля 1938 г.).
Структура I Управления: 1-й отдел – Отдел охраны (начальник – И. Я. Дагин, 28 марта – 29 сентября 1938 г.); 2-й – Оперативный отдел (начальник – И. П. Попашенко, 28 марта – 29 сентября 1938 г.); 3-й – Контрразведывательный отдел (начальник – Н. Г. Николаев-Журид, 28 марта – 29 сентября 1938 г.); 4-й – Секретно-политический отдел (начальники – В. Е. Цесарский, 28 марта – 28 мая 1938 г.; А. С. Журбенко, 28 мая – 15 сентября 1938 г.; Б. З. Кобулов, 15–29 сентября 1938 г.); 5-й – Иностранный отдел (начальник – З. И. Пассов, 28 марта – 29 сентября 1938 г.); 6-й – Отдел наблюдения за милицией, Осоавиахимом, пожарной охраной, райвоенкоматами, спортивными обществами и т. п. (начальник – И. Д. Морозов, 28 марта – 29 сентября 1938 г.); 7-й – Отдел наблюдения за оборонной промышленностью (начальник – Л. И. Рейхман, 28 марта – 29 сентября 1938 г.); 8-й – Отдел наблюдения за всей промышленностью (начальники – А. М. Минаев-Цикановский, 28 марта – 10 июля 1938 г.; В. Ф. Григорьев, 10 июля – 29 сентября 1938 г.); 9-й – Отдел наблюдения за торговлей, заготовками и сельским хозяйством (начальник – Л. Б. Залин, 28 марта – 7 июня 1938 г.).
Структура II Управления: 1-й отдел – Отдел наблюдения за авиацией, с 20 сентября 1938 г. – за штабной службой, противовоздушной обороной, связью, Разведывательным управлением РККА, снабжением и финансами РККА (начальники – Б. В. Рогачев, 28 марта – 20 августа 1938 г.; В. С. Агас, 20 августа – 29 сентября 1938 г.); 2-й – Отдел наблюдения за автобронетанковыми и техническими войсками, с 20 сентября 1938 г. – за авиацией (начальники – И. Я. Бабич, 28 марта – 20 августа 1938 г.; Б. В. Рогачев, 20 августа – 29 сентября 1938 г.); 3-й – Отдел наблюдения за пехотой, кавалерией, артиллерией, с 20 сентября 1938 г. – за автобронетанковыми и техническими войсками (начальники – М. С. Ямницкий, 28 марта – 13 июня 1938 г.; И. Я. Бабич, 20 августа – 29 сентября 1938 г.); 4-й – Отдел наблюдения за Военно-морским флотом, с 20 сентября 1938 г. – за пехотой, кавалерией, артиллерией (начальники – Н. Н. Федоров, 28 марта – 28 мая 1938 г.; Ратнер, 28 мая – 10 июля 1938 г.; М. К. Шляхтенко, 10 июля – 20 августа 1938 г.; М. К. Шляхтенко, 20 августа – 29 сентября 1938 г.); 5-й – Отдел наблюдения за штабной службой, противовоздушной обороной, связью, Разведывательным управлением РККА, снабжением и финансами РККА, с 20 сентября 1938 г. – наблюдение за Военно-морским флотом (начальники – Н. Е. Шапиро, 28 марта – 14 апреля 1938 г.; В. С. Агас, 14 апреля – 20 августа 1938 г.; М. К. Шляхтенко, 20 августа – 29 сентября 1938 г.); 6-й – Оперативный отдел – аресты, обыски, наружное наблюдение и установка, с 20 сентября 1938 – наблюдение за пограничными, внутренними и железнодорожными войсками (начальники – В. С. Агас, 28 марта – апрель 1938 г.; М. Б. Спектор, июль – 20 августа 1938 г.; Казакевич, 20 августа – 29 сентября 1938 г.); 7-й – Оперативный отдел (начальник – М. Б. Спектор, 20 августа – 29 сентября 1938 г.).
Структура III Управления: 1-й отдел – железнодорожный транспорт (начальники – И. М. Леплевский, 28 марта – 26 апреля 1938 г.; Б. Д. Берман, 22 мая – 24 сентября 1938 г.); 2-й – водный транспорт (начальник – М. Л. Андреев, 28 марта – 29 сентября 1938 г.); 3-й – гражданский воздушный флот, связь и шоссейно-дорожное строительство (начальник – А. П. Радзивилловский, 28 марта – 13 сентября 1938 г.); 4-й – оперативный (начальник – Н. Т. Приходько, 28 марта – 30 апреля 1938 г.).