В результате Ягода был уволен из руководства органов. Николай Иванович Ежов, глава комиссии партийного контроля, казался подходящим кандидатом на его место. Ежов имел опыт проведения чисток в партии и олицетворял в своем лице безусловную готовность выполнять все поставленные перед ним задачи. В ходе расследования убийства Кирова Ежов собрал все документы и свидетельства, доказывавшие причастность Зиновьева и Каменева. Он позаботился о том, чтобы было начато дальнейшее расследование в отношении действительных и потенциальных врагов государства. Этот человек был, по словам его современников, фанатиком, не знавшим границ при выполнении своих заданий. Таким образом, в 30-е годы, т. е. перед лицом набирающего силу фашизма, контактов между фашистами и троцкистами и влиянием сторонников Троцкого на развитие в СССР, потенциальные опасности воспринимались партийным руководством в высшей степени серьезно. В частности, это касалось участившихся сообщений об организациях сопротивления и планах переворота в армии. После ставшей теперь очевидной измены Ягоды Ежов казался тем человеком, кто был в состоянии справиться со всем тем, что накопилось с тех пор в эшелонах власти.
Не боявшийся никаких авторитетов Ежов, казалось, был тем человеком, кто был в состоянии решить проблемы, связанные с этой ситуацией.
Но в сентябре 1936 года получивший должность народного комиссара внутренних дел Николай Иванович Ежов был вынужден бороться не только с проблемами со здоровьем. В партии он сделал блестящую карьеру: в 1929 году начав работу в качестве заместителя главы исполнительной власти в народном комиссариате сельского хозяйства, он привлек к себе внимание своим участием в коллективизации сельского хозяйства. Год спустя он уже работал в отделе кадров ЦК ВКП(б), а в 1933 году за свое рвение был назначен председателем Центральной комиссии по партийным чисткам. В 1934 году он был уже не просто одним из членов ЦК. Его преданность так понравилась партийному руководству, что во время лечения Ежова в Вене Сталин был всерьез обеспокоен его здоровьем. Как выяснилось позже, имелись гораздо более веские основания беспокоиться о слабостях этого человека и возникших в результате этого проблем. В феврале 1935 года Ежов стал секретарем ЦК и председателем Комиссии партийного контроля, а 25 сентября 1936 года Сталин предложил поставить этого человека на место Ягоды, так как тот, выполняя свои обязанности в течение четырех лет, не только отстал в развитии, но и допустил серьезные недосмотры. Так начался период, которая в более поздней истории получит поверхностное название «ежовщины».
Отправной точкой для дальнейшего развития событий стало постановление Политбюро ЦК от 02 июля 1937 года «Об антисоветских элементах». Оно информировало секретарей партийных организаций в союзных республиках и регионах:
«Замечено, что большая часть бывших кулаков и уголовников, высланных одно время из разных областей в северные и сибирские районы, а потом по истечении срока высылки вернувшихся в свои области, – являются главными зачинщиками всякого рода антисоветских и диверсионных преступлений как в колхозах и совхозах, так и на транспорте и в некоторых областях промышленности.
ЦК ВКП(б) предлагает всем секретарям областных и краевых организаций и всем областным, краевым и республиканским представителям НКВД взять на учет всех возвратившихся на родину кулаков и уголовников, с тем чтобы наиболее враждебные из них были немедленно арестованы и были расстреляны в порядке административного проведения их дел через тройки, а остальные, менее активные, но все же враждебные элементы были бы переписаны и высланы в районы по указанию НКВД.
ЦК ВКП(б) предлагает в пятидневный срок представить в ЦК состав троек, а также количество подлежащих расстрелу, равно как и количество подлежащих высылке».
В этих условиях было трудно разобраться, кого к какой категории отнести.