Сделавший свое дело нарком Ежов был расстрелян в феврале 1940 года в одном из подвалов на Никитской улице. С ним в течение примерно того же периода казнены все обвиняемые по делу о заговоре в НКВД главные ежовцы: Фриновский, Волынский, Жуковский, Николаев (Журид), Заковский, Евдокимов, Берман, Бельский. А вместе с первыми заместителями Ежова в эту зачистку уничтожили и массу руководителей НКВД 1937–1939 годов рангом пониже. Нового начальника Особого отдела НКВД Федорова, нового главу внешней разведки ИНО Пассова, нового главу Спецотдела Шапиро, нового начальника сталинской личной охраны в НКВД Дагина, нового начальника секретариата НКВД Дейча, нового начальника ГУЛАГа в НКВД Плинера, нового начальника Секретно-политического отдела Минаева, изобретателя советских душегубок-хлебовозок Берга и так далее. Даже личная секретарша наркома Ежова по фамилии Рыжова была репрессирована.
Расправа с ежовцами вторично после ликвидации людей Ягоды «прополола» в этом плане и провинциальные управления НКВД. Одним из первых ежовцев еще в начале 1938 года арестовали и привезли в Москву для скорого расстрела начальника Северо-Осетинского НКВД Булаха, причем не случайно – с него начали лепить образ ежовских чекистов как сознательных «врагов советской законности». Булах на Кавказе действительно навел в «ежовскую чистку» такой террор, что многих даже в НКВД шокировал размахом пыток и расстрелов, а сам нарком Ежов кавказского садиста очень ценил и часто на совещаниях ставил в пример другим начальникам территориальных управлений НКВД. Допрошенный по делу Булаха его тоже арестованный бывший подчиненный в Северо-Осетинском (тогда еще Орджоникидзевском) НКВД Добыкин показывал, что по коридорам управления часто было просто страшно ходить: в каждом кабинете по нескольку человек кого-то мордовали. Даже в череде ежовцев Булах отличился в худшую сторону, его сотрудники как минимум семь забитых ими насмерть на следствии арестованных уже мертвыми «провели» через приговор своей «тройки» и доложили об их расстреле, составив фиктивные акты, так что на роль показательного ежовца он годился отлично. После сигнала о художествах Булаха на Северный Кавказ выехала комиссия партконтроля ЦК во главе с Матвеем Шкирятовым, от НКВД его сопровождал бывший референт наркома и новый начальник Секретно-политического управления Цесарский. Арест Булаха еще в конце весны 1938 года и скорый арест ежовского заместителя Заковского стали началом расправы над ежовцами, планомерно учиняемой Сталиным почти в течение года.
Вскоре арестован и расстрелян ежовский ставленник во главе НКВД Азербайджанской ССР Раевой, затем бывший начальник Особого отдела НКВД (а к моменту ареста начальник Украинского НКВД) Леплевский. В Ереване тогда арестованный бывший глава правительства Армянской ССР Тер-Габриелян при допросе с пристрастием выбросился из окна четвертого этажа здания Армянского НКВД и разбился насмерть (это не единичный в ежовские времена случай, за месяц до Тер-Габри-еляна из окна здания НКВД в Минске так же ушел на тот свет от следствия арестованный глава Совнаркома Белорусской ССР Гололед) – сразу последовали разбирательства и аресты. Армянских ежовцев одновременно обвинили в незаконных методах допросов и в умышленной ликвидации ценного обвиняемого для обрывания нитей к сообщникам. Итогом стал тогда арест начальника НКВД Армянской ССР Мугдуси и его заместителя Геворкяна, оба позднее расстреляны в волне ежовцев. И так по всему Советскому Союзу шла зачистка в НКВД тех, кто отведенную им роль уже исполнил.