Сталин не торопился и провёл эту замену в два этапа. Сначала он сосватал Ежову своего давнишнего сторонника Берию. Он сделал Лаврентия Павловича заместителем наркома внутренних дел. Ежов же получил в прибавку ко всем постам новое назначение — нарком водного транспорта. Это произошло в августе 1938 года. И уже очень скоро Ежов, занимавшийся делами «водного» наркомата, оказался оттёртым от реального управления НКВД. Теперь все официальные документы, спускаемые сверху, поступали уже на имя Берии. Наконец 9 ноября Ежов был снят с поста наркома НКВД. Он ещё протянет до 10 апреля, когда произойдёт его арест. Однако судьба Ежова была уже решена. Отныне он не имел политического влияния и стремительно деградировал в личном плане, ожидая ареста.
Надо сказать, что далеко не все чекисты были рады появлению нового начальства. Перед Берией была поставлена задача — прекратить массовый террор, а эти лихачи жаждали «продолжения банкета». В феврале группа высокопоставленных чекистов во главе с М.С. Кедровым направила на имя Сталина письмо, в котором резко осуждался новый стиль руководства. Он был назван фельдфебельским. Наверное, Сталин не мог читать этого письма без смеха. Получалось, что прежде, во времена Ежова и Ягоды, НКВД был прямо-таки демократическим учреждением, а теперь, когда он выпускал на волю десятки тысяч невинно осуждённых, появился откуда-то неожиданно фельдфебельский стиль.
Перемены надвигались со всей неотвратимостью. Комиссия партийного контроля, которую Ежов возглавлял уже только формально, рассматривала дела бывших партийцев, необоснованно исключённых из ВКП(б). В тех случаях, когда необоснованность исключения была доказана, Комиссия требовала отмены приговора (если только имела место судимость).
Осенью Верховный суд СССР получил беспрецедентное право принимать любое дело любого советского суда и рассматривать его в порядке надзора. Только до конца года ВС отменил и предотвратил исполнение около 40 тысяч смертных приговоров, вынесенных за «контрреволюцию».
Апогеем либерализации стало совместное постановление СНК СССР и ЦК ВКП(б) «Об арестах, прокурорском надзоре и ведении следствия». Принятое 11 ноября 1938 года, оно предписывало положить конец массовым арестам и высылкам. Согласно положению прекращалась деятельность печально известных карательных троек. Кроме того, восстанавливался прокурорский надзор за следственным аппаратом НКВД.
Внутри самого НКВД тоже произошла определённая либерализация. Новый наркомвнудел Берия уже 9 ноября 1939 года подписал приказ «О недостатках в следственной работе органов НКВД». В нём предписывалось освободить из-под стражи всех незаконно арестованных. Приказ устанавливал строгий контроль за соблюдением уголовно-процессуальных норм.
Теперь «органы» стали не только карать, но и миловать. За один только 1939 год они освободили 330 тысяч человек. Всего же в ходе преодоления последствий «большого террора» реабилитировали свыше 800 тысяч пострадавших.