Очевидно, что наверх по служебной лестнице Ежова усиленно продвигал Сталин. Являясь партийным аппаратчиком, Ежов был абсолютным новичком в органах госбезопасности. Возможно, он встречался со Сталиным еще в 1922–1923 годах; в 1927 году они были несомненно знакомы, а к 1930 году он был частью «близкого окружения» Сталина. Его стремительное выдвижение на ключевые позиции: начальника распредотдела (1930), члена Центральной комиссии ВКП(б) по чистке партии (1933), председателя мандатной комиссии XVII съезда партии, члена ЦК и Оргбюро и заместителя председателя КПК (1934), секретаря ЦК, председателя КПК, заведующего отделом руководящих партийных органов ЦК ВКП(б) и члена Исполкома Коминтерна (1935), — без сомнения, осуществлялось по инициативе Сталина. С 1930 года Ежову разрешается присутствовать на заседаниях Политбюро и иметь доступ к информации на уровне членов Политбюро. С конца 1934 — начала 1935 годов, не являясь членом Политбюро, он находится в верхнем эшелоне партийного руководства, управляя кадровой политикой и государственной безопасностью.
После убийства Кирова в декабре 1934 года Сталин поручил Ежову расследование этого дела, особым распоряжением вынудив главу госбезопасности Ягоду подчиняться его приказам. Фактически Ежов стал представителем Сталина, надзирающим за работой НКВД. В мае 1935 года он представил Сталину «доказательство» того, что бывшая оппозиция в своей борьбе против партии прибегала к террору. Эта версия была им изложена в рукописи «От фракционности к открытой контрреволюции», в первой ее главе, которую Сталин сам отредактировал. С весны 1935 по осень 1936 года он проводил чистку в партии, начатую по инициативе Сталина, занимаясь проверкой и обменом партийных документов. К операции по очистке партийных рядов были привлечены органы НКВД; просочившиеся в партию враги были разоблачены и в отдельных случаях арестованы. Выступление Ежова против бывшего секретаря Президиума ЦИК СССР Енукидзе в июне 1935 года, также инспирированное Сталиным, говорит о том, что разговор шел не только о бывших оппозиционерах, но и о последователях линии Сталина, уличенных в недостаточной «бдительности». Была также проведена чистка и среди иностранных коммунистов и политических иммигрантов в СССР — с целью выкорчевать предполагаемых «врагов» в их рядах. Когда в марте 1936 года Варга пытался защититься от нападок Ежова, Сталин встал на сторону последнего.
Ежов играл ведущую роль в организации больших показательных процессов. В июле 1936 года он подготовил Сталину текст закрытого письма ЦК «О террористической деятельности троцкистско-зиновьевского контрреволюционного блока», которое с поправками Сталина было разослано во все первичные парторганизации. Однако Ежов пока не имел четкой программы проведения Большого террора. Как явствует из черновика письма Сталину, датированного сентябрем 1936 года, он еще не был убежден, что правые действительно вступили в союз с троцкистами и зиновьевцами. Ежов хотел наказать их, формально исключив из ЦК и выслав в глубинку. Но после процесса над Зиновьевым в августе 1936 года он не желал продолжать «политическое шоу»; Пятакова, Радека и Сокольникова следовало наказать без шумного процесса. Ежов предлагал расстрелять «внушительное количество» во внесудебном порядке, чтобы «раз и навсегда покончить с этой мразью». Несмотря на это, в январе 1937 года над Пятаковым, а в марте 1938 года над Бухариным были проведены открытые процессы, организованные Ежовым по указаниям Сталина. Назначая Ежова наркомом внутренних дел в сентябре 1936 года, партийный вождь явно заставил его изменить позицию. В НКВД нового главу считали ставленником ЦК и Сталина. Это позволило Ежову начать очистку аппарата от людей Ягоды; военная разведка тоже была тщательно вычищена.
При поддержке Сталина Ежов всерьез развернул наступление на правый уклон, Бухарина и его соратников. После февральско-мартовского пленума 1937 года начались массовые репрессии внутри партии. Под руководством Сталина Ежов провел и чистку командного состава Красной Армии. В 1937 году на июньском пленуме ЦК он в общих чертах обрисовал широкомасштабный заговор против партийного руководства, в котором участвовали троцкисты, зиновьевцы, правые уклонисты, работники коминтерновского аппарата, Тухачевский и его приспешники из рядов Красной Армии, а также Ягода и его единомышленники из НКВД. По словам Ежова, сети заговора проникли и в низовые эшелоны. Поскольку были ликвидированы только вожаки, это был сигнал к началу большой чистки.