Случай с Люшковым послужил предлогом для назначения 22 августа Берии первым заместителем наркома внутренних дел. Прежние руководители НКВД сделали отчаянную попытку свалить Лаврентия Павловича. В покаянном письме Сталину Ежов признался: «Переживал… назначение т. Берия. Видел в этом элемент недоверия к себе, однако, думал всё пройдёт. Искренне считал и считаю его крупным работником, я полагал, что он может занять пост наркома. Думал, что его назначение – подготовка моего освобождения (правильно думал! –
На долю Берии выпала задача умерить размах репрессий. 8 сентября 1939 года другой первый заместитель наркома внутренних дел М. П. Фриновский был назначен наркомом ВМФ, а 29 сентября в ведение Берии перешло Главное управление государственной безопасности. К началу октября Ежов практически утратил контроль над основными структурами Наркомата внутренних дел.
Члены ЦК и правительства в одночасье прозрели. В постановлении от 17 ноября 1938 года утверждалось: «Массовые операции по разгрому и выкорчёвыванию вражеских элементов, проведённые НКВД в 1937–1938 годах, при упрощённом ведении следствия и суда не могли не привести к ряду крупнейших недостатков и извращений в работе органов НКВД и прокуратуры… Работники НКВД настолько отвыкли от кропотливой, систематической агентурно-осведомительной работы и так вошли во вкус упрощённого порядка производства дел, что до самого последнего времени возбуждают вопросы о предоставлении им так называемых «лимитов» для производства массовых арестов». Был осуждён сам упрощённый порядок расследования, когда «следователь ограничивается получением от обвиняемого признания своей вины и совершенно не заботится о подкреплении этого признания необходимыми документальными данными», а «показания арестованного записываются следователями в виде заметок, а затем, спустя продолжительное время… составляется общий протокол, причём совершенно не выполняется требование… о дословной, по возможности, фиксации показаний арестованного. Очень часто протокол допроса не составляется до тех пор, пока арестованный не признается в совершённых им преступлениях». Теперь НКВД и прокуратуре запрещалось осуществлять массовые операции по арестам и выселению. Любые аресты разрешалось производить только с санкции прокуратуры или постановления суда. Ликвидировались судебные тройки, выносившие приговоры по упрощённой процедуре, без участия защиты и обвинения. Все дела от троек передавались в суды или в Особое совещание при НКВД СССР. От следователей потребовали соблюдения уголовно-процессуальных норм, а именно: завершать расследование в установленные законом сроки, допрашивать арестованных не позднее чем через 24 часа после их задержания и составлять протокол сразу же после окончания допроса.
Поняв, что его песенка спета, Николай Иванович, по русскому обычаю, ушёл в запой. 23 ноября 1938 года он подал прошение об отставке. 24 ноября Политбюро освободило Ежова от должности наркома внутренних дел, сохранив за ним уже ничего не значившие посты секретаря ЦК, председателя Комитета партийного контроля и наркома водного транспорта. Преемником Ежова стал Берия. В апреле 39-го Николая Ивановича арестовали. Люди Лаврентия Павловича отделали Николая Ивановича на славу. 2 февраля 1940 года в своем последнем слове Ежов перед лицом неминуемого расстрела утверждал: «Вчера ещё в беседе с Берия он мне сказал: «Не думай, что тебя обязательно расстреляют. Если ты сознаешься и расскажешь всё по-честному, тебе жизнь будет сохранена». После разговора с Берия я решил, лучше смерть, но уйти из жизни честным и рассказать перед судом только действительную правду. На предварительном следствии я говорил, что я не шпион, что я не террорист, но мне не верили и применяли ко мне избиения». Отказ от выбитых на следствии признаний в шпионаже и заговоре никак не повлиял на судьбу «стального наркома». 4 февраля 1940 года Ежова расстреляли.