То, что происходило потом, напоминало, по выражению Черчилля, «схватку бульдогов под ковром», под которым ничего не видно, но из-под которого время от времени выбрасываются трупы. Начало схватки положило убийство члена Политбюро, Оргбюро ЦК и секретаря ЦК Кирова С. М. 1 декабря 1934 г., организованное спецслужбами. Его убийца Николаев Л. до этого дважды задерживался охраной Смольного с заряженным револьвером в портфеле и дважды отпускался по распоряжению ленинградского НКВД. После XX съезда КПСС Хрущев Н. С. прямо обвинил Сталина в убийстве Кирова. Однако расследование комиссии, созданной Хрущевым, закончилось ничем, в основном, из-за смерти всех участников трагедии. По-видимому, Сталин обошелся тогда без личных услуг Ягоды, которому не доверял полностью. Прибыв поездом в Ленинград, Сталин разыграл театральную сцену. Он ударил на перроне начальника ленинградского НКВД Медведя Ф., не уберегшего любимого друга, и сраженный горем отправился хоронить Кирова. Однако Медведь и его заместитель Запорожец понесли тогда удивительно мягкое наказание. Они были уволены со своих постов за преступную халатность и отправлены начальниками лагерей НКВД на Дальний Восток. В 1937 г. их расстреляли. Сам Николаев погиб в автокатастрофе. Гордиевский считает, что внутри партийного аппарата Ежовым была создана служба безопасности, параллельная НКВД, убравшая по указанию Сталина Кирова (304).
Сразу после убийства Кирова издается директива о немедленном наказании вплоть до расстрела всех, подозреваемых в терроризме. Согласно этой директиве НКВД получил неограниченные полномочия и право самому решать, кто «террорист», а кто нет. В стране создалась атмосфера массового психоза по выявлению террористов и шпионов, виновных во всех трудностях, испытываемых строителями социализма. Политбюро разослало секретный циркуляр со словами: «Неотъемлемым качеством каждого большевика в современных условиях должно быть умение распознать врага партии, как бы хорошо он не маскировался». Определение врага юридически не конкретизировалось, чтобы не стеснять инициативу доносчиков и палачей всех уровней.
Первыми жертвами директивы стали 104 заговорщика из Ленинграда, обвиненных в смерти Кирова и немедленно расстрелянных. Еще одна группа «Ленинградский центр», — укомплектованная сторонниками Зиновьева, в которую якобы входил Николаев, после короткого суда без защиты была расстреляна 30 декабря 1934 г. Список группы был составлен лично товарищем Сталиным. Мнительный вождь организовал генеральную чистку партии от «зиновьевско-троцкистских выродков». В январе 1935 г. Зиновьев и Каменев стали фигурантами политического процесса и согласились с расплывчатыми обвинительными формулировками, указывающими на их политическую ответственность за убийство Кирова, «граничащую с подстрекательством». Суд приговорил Зиновьева к 10, а Каменева к 5 годам тюрьмы. Сталин выразил Ягоде свое недовольство результатами суда: «Плохо работаете, Генрих Григорьевич!» Потрясенный суровостью вождя Ягода рыдал на плече своего зама Прокофьева. Однако признание Зиновьева и Каменева подготовило общественное сознание страны к следующему этапу.
19 августа 1936 г. Ягода подготовил повторный открытый процесс над Зиновьевым, Каменевым, а также Евдокимовым, Бакаевым, Смирновым, Мрачковским, Тер-Ваганяном и другими «троцкистами». Сценарий суда был составлен Сталиным, Ягодой и Поскребышевым, секретарем Сталина. После нескольких недель пыток обвиняемые сознались на суде в связях с Троцким, гестапо, белогвардейцами, в сговоре с целью убийства Сталина и других вождей. Они дали показания на Бухарина, Томского, Рыкова, Радека, Пятакова, Сокольникова, Серебрякова, также вовлеченных якобы в контрреволюционную деятельность. 24 августа суд приговорил обвиняемых к расстрелу, что и было немедленно приведено в исполнение. 26 августа Томский, не дожидаясь расправы, покончил с собой. В середине сентября 1936 г. Сталин, находясь в отпуске в Сочи, получил известие об оправдании Бухарина и Рыкова в расследовании, проведенном НКВД под руководством Ягоды. Из Сочи в Политбюро 25 сентября отправляется телеграмма за подписью Сталина и Жданова: «Ягода оказался неспособным разоблачить троцкистско-зиновьевский блок. ОГПУ (НКВД) запоздало в этом деле на 4 года». 26 сентября 1936 г. газеты печатают сообщение об освобождении Рыкова А. И. от обязанностей наркома связи СССР и о назначении наркомом связи Ягоды Г. Г. с освобождением его от обязанностей наркома внутренних дел. Наркомом внутренних дел назначается Ежов Н. И., секретарь ЦК, заведывавший в 1930–34 гг. распределительным отделом ЦК и отделом кадров ЦК. Ежов — первый русский на этом посту.