Через три месяца нарком Ежов был освобожден от должности, а затем арестован. Ему были предъявлены обвинения в подготовке антисоветского переворота. Также Ежов был обвинен в мужеложстве, которым, как утверждалось в обвинительном заключении, он занимался «в антисоветских и корыстных целях». 3 февраля 1940 года Николай Ежов приговором Военной коллегии Верховного Суда СССР был приговорен к «исключительной мере наказания» – расстрелу. Приговор был приведен в исполнение на следующий день. Более чем за год до этого, 8 декабря 1938 года НКВД СССР официально возглавил Лаврентий Берия.
Первым делом Берия начал чистку аппарата НКВД – уволил всех, кто был связан с ежовскими преступлениями. На смену им по распоряжению Берии приняли новых, хорошо образованных сотрудников. Уровень грамотности в НКВД заметно повысился. В органы приходили те, кто в годы войны обеспечит безопасность страны.
За 1939 год из системы НКВД было уволено 7372 оперативных работника, то есть 23 % от общего состава. Принято на службу 14 506 человек. Количество сотрудников с высшим образованием составило 35 % всего состава НКВД вместо 10 % при Ежове. Доля людей без среднего образования упала с 42 до 18 %. Начиная с 1941 года, многие из уволенных ранее квалифицированных сотрудников были возвращены на службу.
Новая атмосфера в органах вызывала доверие рядовых чекистов к новому руководителю. В Лаврентии Павловиче они видели принципиального человека, который будет жестко наказывать за некомпетентность, зато тех, кто четко выполняет поставленные задачи, станет защищать до последнего.
Одновременно с решением кадровых вопросов Берия учредил в НКВД Бюро по приему и рассмотрению жалоб специально для разбора дел 1937–1938 годов. Началась так называемая бериевская оттепель. Из 630 тысяч политзаключенных, осужденных во время Большого террора, в одном только 38-м году из тюрем и лагерей вышло около половины. Освобождали в первую очередь тех, кто даже под пытками не признал свою вину, а также многих из тех, на кого не было других улик, кроме выбитых следователями признаний.
С приходом Берии на пост наркома внутренних дел стали пересматриваться дела офицеров Красной армии. Несправедливо отстраненные от службы возвращались на свои должности в войска. Среди них выдающийся полководец Константин Рокоссовский, который в июне 1945 года будет командовать Парадом Победы. О его освобождении ходатайствовал нарком обороны маршал Тимошенко, а решение лично принимал Сталин.
Отныне лозунгом НКВД стало «восстановление законности». Берия распорядился о ликвидации «особых троек» – внесудебных органов, которые состояли из начальника управления НКВД, представителя партийного руководства и прокурора. Приговор «тройки» выносили заочно, не ведя протоколов и часто даже не вникая в детали обвинения.
С конца 1938 года порядки изменились: все дела проходили следственные процедуры в органах, потом передавались в прокуратуру, которая занималась проверкой обоснованности арестов, и только потом – в суд. Сажать по политическим мотивам не перестали. Так, были расстреляны выдающиеся деятели культуры: режиссер Всеволод Мейерхольд, журналист Михаил Кольцов, писатель Исаак Бабель. Но количество осужденных за контрреволюционные преступления резко сократилось, а число приговоренных к смертной казни уменьшилось на порядок.
Конечно, записывать главную заслугу в снижении масштабов террора на личный счет Лаврентия Павловича было бы преувеличением – он всего лишь выполнял указания сверху. Однако следует признать, что приписываемой ему патологической кровожадности он не проявил ни в первые годы после переезда в Москву, ни впоследствии.