В апреле 1938-го для Ежова прозвучал «первый звонок»: его назначили по совместительству наркомом водного транспорта. Значит, ему подыскивали замену. Ежов все чаще пускался в запой. Замену ему — первого секретаря ЦK КП(б) Грузии Л.П. Берию — предложил Маленков.
В мае 1938 года покончил жизнь самоубийством начальник управления НКВД по Московской области Каруцкий. Для Ежова это был нелегкий удар. Еще более сильный удар ждал его через месяц, когда, нелегально перейдя границу, бежал к японцам начальник Дальневосточного управления НКВД Г.С. Люшков. Переведенный из центрального аппарата, где он занимался троцкистами, в Ростов, а затем на Дальний Восток, он ожидал вызова в Москву и догадывался, что это может означать.
Понятно, что бежал он к новым хозяевам не с пустыми руками. Он выдал японцам, в частности, всю дислокацию советских войск на Дальнем Востоке, серьезно осложнив положение маршала Блюхера. Маршал и без того переживал трудные времена. Проведенная проверка показала крайне слабую подготовку войск Дальневосточного фронта, доходившую порой до небоеспособности. Чрезвычайно некомпетентное, заставляющее подозревать вредительство, руководство Блюхером войсками во время боев у озера Хасан летом 1938 года ударило не только по нему, но и по Ежову.
Репрессии обрушились теперь на ежовское окружение. Осенью 1938 года был снят с должности начальник Московского управления НКВД Цесарский. Тогда же, катаясь в лодке на Москве-реке, застрелился секретарь Ежова Илицкий. 5 ноября был арестован руководящий работник НКВД Дагин, отвечавший за охрану членов правительства. На следующий день застрелился комендант Московского Кремля Рогов и был арестован начальник контрразведывательного отдела НКВД Минаев-Цихановский. 12 ноября грянул выстрел в Ленинграде: покончил с собой близкий сотрудник и выдвиженец Ежова, бывший начальник секретно-политического отдела НКВД М.И. Литвин.
15 ноября произошло загадочное событие. Утром не явился на работу нарком внутренних дел Украины Александр Успенский. Он тоже был выдвиженцем Ежова и соратником тогдашнего первого секретаря ЦК ВКП(б) Украины Н.С. Хрущева, вместе с которым они проводили жесточайшие репрессии в этой республике.
В предыдущий день он поздно вечером неожиданно вернулся в наркомат в штатском, с чемоданом. Работал всю ночь, утром ушел пешком и… пропал. Дома его не оказалось, на работу он не вернулся.
В его кабинете лежала записка: «Ухожу из жизни. Труп ищите на берегу реки». Содержание странное, если учесть его совет искать труп в определенном районе.
На берегу Днепра действительно обнаружили… нет, не тело утопленника, а одежду Успенского. По непонятной прихоти самоубийца решил отправиться на тот свет раздетым. Уже одно это заставило предположить, что он постарался уйти не из жизни, а от карательных органов. Догадка подтвердилась, ибо поиски тела в реке и на ее берегах были безрезультатными. Имея оружие, Успенский мог бы застрелиться.
Начались поиски несостоявшегося утопленника. Он метался по стране с поддельными документами. Арестовали его жену, и она вспомнила, что видела дома паспорт на имя Шмаковского с фотографией мужа. Его задержали в апреле 1939 года на Южном Урале. По его словам, предупреждение об аресте он получил от Ежова. Хотя, по другой версии, он подслушал разговор, в котором Хрущев предлагал Сталину арестовать Успенского.
Настал конец «ежовщине», унесшей десятки тысяч жизней и сломавшей сотни тысяч судеб.
19 ноября 1938 года Ежов, подвергнувший себя самокритике был снят. Через неделю на его вакантный пост был назначен Берия. В том же ноябре при загадочных обстоятельствах умерла жена Ежова Е.С. Хаютина-Файгенберг. Ее первый муж, директор Харьковского инструментального завода А.Ф. Гладун, арестованный весной 1939 года, показал, что Хаютина, редактировавшая журнал «СССР на стройке» (ответственным редактором которого являлся Пятаков), была тесно связана с троцкистами.
Ежов пил, опаздывал или совсем не являлся на работу, оставаясь наркомом водного транспорта. Председатель Совнаркома СССР Молотов вынес ему письменный выговор за нарушение трудовой дисциплины.
6 апреля 1939 года был арестован бывший первый заместитель Ежова по НКВД М.П. Фриновский. На очереди был сам бывший «железный нарком», державший страну в «ежовых рукавицах». Через три дня он был арестован при выходе из кабинета Маленкова в ЦК ВКП(б) на Старой площади.
Проведя оставшиеся месяцы своей жизни в тюрьме, в начале февраля 1940 года перед прочтением расстрельного приговора подсудимый Ежов признал: «Я почистил 14 тысяч чекистов, но огромная моя вина заключается в том, что я мало их почистил». На расстрел он шел с пением «Интернационала».
Мало ли «почистил» Ежов? Были репрессированы: все 7 комиссаров государственной безопасности, 10 из 13 комиссаров 2-го ранга (один умер), 15 из 20 комиссаров 3-го ранга (3 покончили жизнь самоубийством и 1 бежал за границу), 39 из 49 старших майоров (один покончил жизнь самоубийством).