На следующее утро все получившие мандаты отбыли из Москвы. Места назначения, указанного в этих мандатах, никто из них не достиг: все были тайно высажены из вагонов на первой же подмосковной станции и на машинах доставлены в одну из подмосковных тюрем. Через два дня Ежов проделал тот же трюк с заместителями «уехавших». Им перед отъездом сообщили, что они направляются для участия в выполнении того же задания.
Прошло несколько недель, прежде чем сотрудники НКВД узнали о безвозвратном исчезновении начальства. За этот срок Ежов сменил в НКВД охрану, а также всех командиров в энкаведистских частях, размещенных в Москве и Подмосковье. Среди вновь назначенных командиров оказалось множество грузин, присланных из Закавказского НКВД.
Чтобы старые сотрудники НКВД не могли бежать за границу, Ежов изъял из ведения Иностранного управления группу, ответственную за выдачу заграничных паспортов, и присоединил ее к собственному секретариату. Одновременно он сместил командиров авиаэскадрилий НКВД, лишив тем самым потерявших голову чекистов всякой возможности побега за границу на боевом самолете.
Опасаясь со стороны сотрудников НКВД безрассудных действий, продиктованных отчаянием, Ежов забаррикадировался в отдаленном крыле здания НКВД и окружил себя мощным контингентом личной охраны. Каждый, кто хотел попасть в его кабинет, должен был сначала подняться на лифте на пятый этаж и пройти длинными коридорами до определенной лестничной площадки, затем спуститься по лестнице на первый этаж, опять пройти по коридору к вспомогательному лифту, который и доставлял его в приемную Ежова, расположенную на третьем этаже. В этом лабиринте посетителю неоднократно преграждали путь охранники, проверявшие документы у любого посетителя, будь то сотрудник НКВД или посторонний, имеющий какое-либо дело к Ежову.
Осуществив все эти предупредительные мероприятия, Ежов начал действовать более энергично. Пошли массовые аресты следователей, принимавших участие в подготовке московских процессов, и всех прочих лиц, которые знали или могли знать тайны сталинских фальсификаций. Их арестовывали одного за другим, днем – на службе, а ночью – в их квартирах. Когда в предрассветный час опергруппа явилась в квартиру Чертока (прославившегося свирепыми допросами Каменева), он крикнул: «Меня вы взять не сумеете!» – выскочил на балкон и прыгнул с двенадцатого этажа, разбившись насмерть.
Феликс Гурский, сотрудник Иностранного управления, за несколько недель перед этим награжденный орденом Красной звезды «за самоотверженную работу», выбросился из окна своего кабинета на девятом этаже. Также поступили двое следователей Секретного политического управления. Сотрудники Иностранного управления, прибывшие в Испанию и Францию, рассказывали жуткие истории о том, как вооруженные оперативники прочесывают дома, заселенные семьями энкаведистов, и как в ответ на звонок в дверь в квартире раздается выстрел – очередная жертва пускает себе пулю в лоб. Инквизиторы НКВД, не так давно внушавшие ужас несчастным сталинским пленникам, ныне сами оказались захлестнутыми диким террором.
Комплекс зданий НКВД был расположен в самом центре Москвы, и случаи, когда сотрудники НКВД выбрасывались с верхних этажей, происходили на виду у многочисленных прохожих. Слухи о самоубийствах энкаведистов начали гулять по Москве. Никто из населения не понимал, что происходит.
По делам арестованных сотрудников НКВД не велось никакого следствия, даже для видимости. Их целыми группами обвиняли в троцкизме и шпионаже и расстреливали без суда. Тем сотрудникам, кто был или считался польского происхождения, объявляли, что они польские шпионы, латышам – что они шпионы Латвии, русским – что они шпионы Германии, Англии или Франции.
О том, что представляли собой эти обвинения, можно судить по делу Казимира Баранского, ветерана Иностранного управления НКВД, которому Ежов навесил ярлык «шпиона». Баранский был польского происхождения. Фанатичный коммунист, во время гражданской войны он сражался на западном фронте против польских войск и был награжден орденом за то, что вытащил раненого командира своего полка из-под пулеметного обстрела. При этом он сам был ранен. По окончании войны Баранского направили в Иностранное управление ГПУ. В 1922 году он был послан этим Управлением в Польшу для организации агентурной сети. В Варшаве он занял официальный пост второго секретаря советского полпредства под именем Казимира Кобецкого.
В 1923 году, когда советское правительство разрабатывало планы посылки войск через Польшу для оказания помощи немецким рабочим, Баранский получил приказ взорвать склады боеприпасов и амуниции, размещавшихся в варшавской цитадели. Это опасное задание ему удалось выполнить 12 октября 1923 года.