Вскоре после ареста Ягоды были арестованы и расстреляны его заместители и ближайшие помощники: В. Балицкий, Я. С. Агранов, Г. А. Молчанов, Л. Г. Миронов, М. И. Гай, А. М. Шанин, З. Б. Кацнельсон. Был отравлен начальник иностранного отдела НКВД А. А. Слуцкий. Сталин санкционировал расстрел начальника оперативного отдела НКВД, коменданта Кремля и фактического начальника кремлевской охраны К. В. Паукера, человека, которого многие годы считали одним из самых доверенных лиц Сталина.
Был арестован Е. Г. Евдокимов, один из организаторов процесса Промпартии. В 1934 г. он перешел на партийную работу в Ростовскую область и немало потрудился над ее «очищением» от «врагов народа». В 1937 г. Евдокимов сам был расстрелян. Погиб Т. Д. Дерибас, руководитель органов НКВД на Дальнем Востоке. По свидетельству П. И. Шабалкина, Дерибас выступал против необоснованных репрессий.
В 1936 – 1937 гг. погибли известные чекисты М. Лацис, С. Мессинг, Н. Быстрых, В. А. Стырне, А. Артузов, Г. Благонравов, С. Аршакуни, Р. А. Пилляр, В. Р. Домбровский, М. В. Слонимский, Г. Е. Прокофьев, Л. Б. Залин, Л. Лордкипанидзе, Б. А. Бак и др. Как свидетельствуют бывшие чекисты и старые большевики С. О. Газарян, М. В. Остраградский, М. М. Инов, большинство перечисленных выше работников НКВД были субъективно честными людьми, не желавшими участвовать в уничтожении партийных кадров. Так, например, А. Артузов, выступая в 1937 г. на активе НКВД, заявил: «При установившемся после смерти Менжинского фельдфебельском стиле руководства отдельные чекисты и даже звенья нашей организации вступили на опасный путь превращения в простых техников аппарата внутреннего ведомства со всеми его недостатками, ставящими нас на одну доску с презренными охранками капиталистов» [380] .
После этого выступления Артузов был арестован и вскоре расстрелян. Был расстрелян личный друг Дзержинского В. Н. Манцев. За отказ от применения «новых методов» был расстрелян нарком внутренних дел Белоруссии И. М. Леплевский.
Был арестован почетный чекист Ф. Т. Фомин [381] . Покончил жизнь самоубийством известный чекист и педагог М. С. Погребинский, организатор и руководитель многих детских коммун. Назначенный начальником Горьковского областного управления НКВД, Погребинский, как об этом свидетельствовало его предсмертное письмо, не хотел выполнять преступные приказы Центра. Покончил с собой и следователь по особо важным делам Курский, незадолго до того награжденный орденом Ленина за «успешную подготовку» процесса «параллельного центра». Причиной этого был скорее страх, а не совесть. Бывший деятель НКВД А. Орлов писал в своей книге, что после уничтожения окружавшей ранее Ягоду верхушки НКВД «Ежов начал действовать более энергично. Пошли массовые аресты следователей, принимавших участие в подготовке московских процессов, и всех прочих лиц, которые знали или могли знать тайны сталинских фальсификаций. Их арестовывали одного за другим, днем – на службе, а ночью – в их квартирах. Когда в предрассветный час опергруппа явилась в квартиру Чертока (прославившегося свирепыми допросами Каменева), он крикнул “Меня вы взять не сумеете!”, выскочил на балкон и прыгнул с двенадцатого этажа, разбившись насмерть. Феликс Гурский, сотрудник иностранного управления, за несколько недель перед этим награжденный орденом Красной Звезды “за самоотверженную работу”, выбросился из окна своего кабинета на девятом этаже. Так же поступили двое следователей Секретного политического управления… Инквизиторы НКВД, не так давно внушавшие ужас несчастным сталинским пленникам, ныне сами оказались захлестнутыми диким террором… По делам арестованных сотрудников НКВД не велось никакого следствия, даже для видимости. Их целыми группами обвиняли в троцкизме и шпионаже и расстреливали без суда» [382] .
В 1937 г. был расстрелян организатор первых лагерей на Колыме, бывший командир дивизии латышских стрелков Э. П. Берзин. Погибли члены коллегии НКВД И. Д. Каширин, Г. И. Бокий и Я. X. Петере – близкий соратник Ф. Дзержинского.
В своих воспоминаниях «Это не должно повториться» старый чекист С. О. Газарян, арестованный в 1937 г. и доживший до освобождения, подробно описал на примере Грузии ту страшную обстановку террора, которая существовала тогда в НКВД. Он пишет об аресте десятков работников НКВД Грузии, которых арестовывали и пытали их бывшие сотрудники и подчиненные. В то же время выдвигали сначала на руководящие посты в НКВД Грузии, а затем и в НКВД СССР таких приспешников Берии, как Кобулов, Хазан, Кримян, Савицкий, Деканозов, Меркулов, Гоглидзе и Мильштейн.