С 1935 года один за другим следовали судебные процессы над участниками «Московского центра», «Ленинградского центра», «Троцкистко-зиновьевского террористического центра». Соратники Ленина, прошедшие через «сито» царской охранки и каторгу, после нескольких месяцев пребывания во внутренней тюрьме на Лубянке «сознавались» в тех преступлениях, которых не совершали. На очередном судебном процессе Зиновьев и Каменев в который уже раз раскаялись, признали себя виновными и были приговорены к 10 и 5 годам тюремного заключения. Приговоры, несмотря на тяжкие обвинения в террористической деятельности, могли показаться слишком мягкими. Все самое страшное как для «левой оппозиции» в лице ее лидеров Зиновьева и Рютина, так и «правой» — Бухарина, было впереди.
После очередного, июльского 1936 года пленума Политбюро ЦК ВКП(б) в партийные организации поступил секретный циркуляр. В нем говорилось:
Участь Зиновьева, Каменева и тысяч их сторонников была предрешена. 19 августа 1936 года над ними начался очередной судебный процесс, закончившийся смертными приговорами. Теперь, когда с политическими оппонентами было покончено, настал черед тех, кто «ломал» и «выбивал» признательные показания и заставлял публично каяться прошлых кумиров «партийной массы» в самых чудовищных преступлениях — чекистов. Главные исполнители режиссуры Вождя — Ягода и его ближайшее окружение, — сделав свое «дело», стали лишними и опасными свидетелями.
26 сентября 1936 года Ягоду освободили от должности наркома НКВД СССР, правопреемника ОГПУ и, по сложившейся тогда практике, «подвесили» министром связи. Прошло пять месяцев, 18 марта 1937 года на собрании руководящего состава НКВД новый нарком Н. Ежов объявил о раскрытии очередного грандиозного заговора, и не где-нибудь, а в «боевом отряде партии» — органах НКВД. Возглавлял его, как оказалось Ягода, он же агент «царской охранки и давний шпион германской разведки». Ему инкриминировались организация убийства первого секретаря Ленинградского обкома ВКП(б) С. Кирова и отравление пролетарского писателя М. Горького. На это сообщение Ежова, присутствовавшие в зале ответили «вялыми аплодисментами». Многие из них, и не без оснований, полагали, что скоро окажутся в числе заговорщиков.
28 марта 1937 года Ягоду арестовали и предъявили обвинение «в организации шпионской, диверсионно-террористической деятельности правотроцкистским блоком» и через год расстреляли. Вслед за ним Ежов принялся «зачищать» центральный аппарат, республиканские, краевые и областные управления НКВД. В результате «Большого террора» к концу 1938 года все 18 комиссаров государственной безопасности были расстреляны, либо посажены в тюрьмы, за исключением Слуцкого, скончавшегося при невыясненных обстоятельствах в кабинете заместителя наркома М. Фриновского. Из 122 высших офицеров центрального аппарата НКВД на своих местах остался только 21.
Авторы историко-документального сборника «Лубянка» приводят следующие данные по «зачистке» в органах государственной безопасности: