НКВД стал предпринимать сепаратные акции, направленные против лиц, лояльных по отношению к Сталину и пользующихся его полным доверием. Особенно показательна история с Шолоховым. Органы подбирались к нему еще в 1936 годy, когда в Вешенской, родной станице писателя, была вскрыта липовая «контрреволюционная организация». Однако тронуть его боялись. Сталин высоко ценил Шолохова. Писатель не боялся открыто информировать вождя о тех безобразиях, которые творились на местах. Он решительно выступил против злоупотреблений в ходе коллективизации. В 1933 году писатель направил Сталину три письма, в которых описал тяжелое положение родного края.
Ознакомившись с письмами Шолохова, Сталин распорядился выслать в Вешенский район 120 тысяч пудов ржи, а в Верхне-Донской район 40 тысяч пудов. Таким образом, Шолохов своей отважной акцией, грозившей опалой, спас многие человеческие жизни.
Местное руководство явно было не в восторге от того, что у них в регионе находится такой важный «канал» непосредственной связи со Сталиным. Отсюда и попытки скомпрометировать писателя. Они продолжились и в 1937 году, а 1938-м стали уже совсем настойчивыми. Ростовское управление НКВД действовало еще более решительно, чем прежние партократы, прищученные Сталиным. Они уже подготовили арест писателя. Однако некто Погорелов, заместитель начальника УНКВД Когана, предупредил писателя о готовящейся акции. Шолохов и Погорелов тайно выбрались в столицу, где и добились встречи со Сталиным, на которой тот решительно взял великого писателя под свою защиту.
Эта воистину детективная история свидетельствует о том, что органы НКВД становились все более и более неуправляемыми. Нужно было срочно менять их руководство.
Сталин не торопился и провел эту замену в два этапа. Сначала он «сосватал» Ежову своего давнишнего сторонника Берия. Он сделал Лаврентия Павловича заместителем наркома внутренних дел. Ежов же получил, в прибавку ко всем постам, новое назначение — наркома водного транспорта. Это произошло в августе 1938 года. И уже очень скоро Ежов, занимавшийся делами «водного» наркомата, оказался оттертым от реального управления НКВД. Теперь все официальные документы, спускаемые «сверху», поступали уже на имя Берия. Наконец 9 ноября Ежов был снят с поста наркома НКВД. Он еще протянет до 10 апреля, когда произойдет его арест. Однако судьба Ежова была уже решена. Отныне он не имел политического влияния и стремительно деградировал в личном плане, ожидая ареста.
Надо сказать, что далеко не все чекисты были рады появлению нового начальства. Перед Берия была поставлена задача прекратить массовый террор, а эти лихачи жаждали «продолжения банкета». В феврале группа высокопоставленных чекистов во главе с М. С. Кедровым направила на имя Сталина письмо, в котором резко осуждался новый стиль руководства. Он был назван «фельдфебельским». Наверное, Сталин не мог читать этого письма без смеха. Получалось, что прежде, во времена Ежова и Ягоды, НКВД был прямо-таки демократическим учреждением, а теперь, когда он выпускал на волю десятки тысяч невинно осужденных, появился откуда-то неожиданно «фельдфебельский» стиль.
Перемены надвигались со всей своей неотвратимостью. Комиссия партийного контроля, которую Ежов возглавлял уже только формально, рассматривала дела бывших партийцев, необоснованно исключенных из ВКП(б). В тех случаях, когда необоснованность исключения была доказана, комиссия требовала отмены приговора (если только имела место судимость).
Осенью Верховный суд СССР получил беспрецедентное право принимать любое дело любого советского суда и рассматривать его в порядке надзора. Только до конца года ВС отменил и предотвратил исполнение около 40 тысяч смертных приговоров, вынесенных за «контрреволюцию».
Апогеем либерализации стало совместное постановление СНК СССР и ЦК ВКП(б) «Об арестах, прокурорском надзоре и ведении следствия». Принятое 11 ноября 1938 года, оно предписывало положить конец массовым арестам и высылкам. Согласно положению, прекращалась деятельность печально известных карательных «троек». Кроме того, восстанавливался прокурорский надзор за следственным аппаратом НКВД.
Внутри самого НКВД тоже произошла определенная либерализация. Новый наркомвнудел Берия уже 9 ноября 1939 года подписал приказ «О недостатках в следственной работе органов НКВД». В нем предписывалось освободить из-под стражи всех незаконно арестованных. Приказ устанавливал строгий контроль за соблюдением уголовно-процессуальных норм.
Теперь «органы» стали не только карать, но и миловать. За один только 1939 год они освободили 330 тысяч человек. Всего же в ходе преодоления последствий «большого террора» реабилитировали свыше 800 тысяч пострадавших.