Время Ежова заканчивалось, хотя нарком еще сопротивлялся. К этому времени его уже начали постепенно отводить от руководства системой госбезопасности и для начала 8 апреля 1938 года назначили по совместительству наркомом водного транспорта СССР. Наркоматом внутренних дел фактически руководил первый заместитель Ежова Фриновский, в свою очередь, перепоручивший дела в ГУГБ своему первому заместителю В. Н. Меркулову. Зато опытный в аппаратных вопросах нарком сделал встречный ход и попытался воспрепятствовать процессу утраты контроля над кадровой политикой наркомата, для чего инициировал совместное постановление СНК и ЦК ВКП(б) от 28 марта 1938 года “Об изменении структуры ГУГБ НКВД СССР”. Главное управление государственной безопасности ликвидировалось и заменялось тремя номерными управлениями, хотя до июня его прежние структуры существовали параллельно с новыми. Замысел наркома заключался в попытке вывести процесс назначений лиц высшего руководящего состава НКВД из совместной компетенции ЦК ВКП(б) и СНК, к номенклатуре которых относились первые заместители наркомов и начальники главных управлений всех наркоматов. Ликвидируя главки, Ежов теоретически получал полный контроль над комплектованием штатов высшего звена НКВД и попытался воспрепятствовать назначению неприемлемых для него кандидатур. После реорганизации в структуре центрального аппарата Наркомата внутренних дел СССР вместо ГУГБ оказались три управления и нескольких самостоятельных отделов:
— Управление госбезопасности (1-е управление) во главе с 1-м заместителем наркома М. П. Фриновским:
— 1-й отдел (охрана правительства), начальник И. М. Дагин;
— 2-й отдел (оперативный), начальник И. П. Попашенко;
— 3-й отдел (контрразведывательный), начальник Н. Г. Николаев-Журид;
— 4-й отдел (секретно-политический), начальник А. С. Журбенко;
— 5-й отдел (иностранный), начальник 3. И. Пассов;
— 6-й отдел (наблюдение за милицией, пожарной охраной и военкоматами), начальник И. Д. Морозов;
— 7-й отдел (оборонной промышленности), начальник И. Д. Рейхман;
— 8-й отдел (промышленности), начальник А. М. Минаев-Цикановский;
— 9-й отдел (сельскохозяйственный), должность начальника была вакантной.
— Управление особых отделов (2-е управление, УОО) во главе с комбригом Н. Н. Федоровым;
— Управление транспорта и связи во главе с комиссаром госбезопасности 3-го ранга Б. Д. Берманом;
— 1-й спецотдел (учетно-регистрационный);
— 2-й спецотдел (оперативной техники);
— Тюремный отдел;
— Спецотдел (шифровальный).
Однако никакие аппаратные ухищрения Ежова не могли перевесить влияния ЦК ВКП(б), и его положение стремительно ухудшалось. Этот процесс усугублялся постепенной деградацией наркома, который, после назначения по совместительству на должность наркома водного транспорта СССР, постепенно погружался в алкоголизм и набиравший силу процесс помрачения сознания. Под конец жизни он уже вряд ли мог адекватно воспринимать окружающую действительность. Тем не менее, несмотря на проблемы личностного характера, угрожавшую ему опасность Ежов видел достаточно отчетливо, но поделать с этим уже ничего не мог. Его сторонников уничтожали систематически и последовательно, например, в 1938 году сменилось шесть начальников УНКВД по Москве и Московской области. Ежов попытался провести чистку грузинской госбезопасности, где до сих пор монополией на проведение репрессий располагало исключительно местное руководство, однако эта попытка не удалась, и вместо разрешения арестовать бывшего председателя ГПУ Грузии, а позднее первого секретаря ЦК республики Л. П. Берия Сталин распорядился перевести его на работу в центральный аппарат наркомата. С 22 августа он в звании комиссара госбезопасности 1-го ранга стал 1-м заместителем наркома НКВД СССР, а с 29 сентября по совместительству принял руководство реанимированным ГУГБ. Предшественника Берия командарма 1-го ранга Фриновского в сентябре назначили наркомом Военно-морского флота СССР, арестовали и впоследствии расстреляли, причем произошло это настолько стремительно, что он даже не успел получить морское звание.
Далее Сталин воспользовался оправдавшим себя при замене Ягоды испытанным методом и назначил комиссию по проверке работы НКВД. Как и ожидалось, она вскрыла массу пагубных упущений в работе, ни одно из которых не являлось выдуманным, поскольку этого просто не требовалось. Положение дел в госбезопасности было и в самом деле критическим и послужило основанием для издания постановление СНК и ЦК ВКП(б) от 13 сентября 1938 года “Об изменении структуры НКВД СССР”, от 23 сентября 1938 года “О структуре НКВД СССР” и некоторые другие. Однако самым весомым из них стало совершенно секретное постановление от 17 ноября 1938 года “Об арестах, прокурорском надзоре и ведении следствия”, дававшее профессиональному уровню чекистской работы весьма резкую, но абсолютно заслуженную оценку: