Самостоятельная жизнь для него началась рано. В 1907 году в 12 лет юный Ежов отправился на заработки в Литву. До 1909 года трудился на заводе Тильманса в городе Ковно, затем возвратился в Санкт-Петербург и пять лет проработал на кроватной фабрике Путиловского завода. Возмужавший и подросший, голова уже торчала над столом — он, наконец, был замечен вожаками большевиков и вовлечен в подпольную работу. Несмотря на маленький рост в 151 сантиметр и тихий голос, бдительное око полиции разглядело в нем одного из будущих советских вождей и выслало в провинцию. Местные столоначальники не стали морочить себе голову и от греха подальше отправили его в армию.
К концу 1915 года положение на фронте складывалось не в пользу России, и Ежова в числе других новобранцев бросили затыкать бреши в обороне. В одном из боев он получил тяжелое ранение и чудом выжил, шесть месяцев провел на больничной койке, после выздоровления возвратился в армию, в команду нестроевых Двинского военного округа, где и встретил Февральскую революцию. Тогда-то и пробил его звездный час, и не только его, а и тысяч тех, «кто был никем» и кого революция сделала «всем». В марте 1917 года он вступил в РСДРП(б) (партию большевиков
С того дня начался долгий путь восхождения Ежова к вершине властной пирамиды в СССР. Уступая в росте, внешности и в голосе трибунам-революционерам и отчаянным рубакам-командирам, он, несмотря на обширные книжные знания и пролетарское происхождение, долго прозябал на второстепенных партийных и административных должностях. До конца 20‐х годов ему пришлось помотаться по периферии и заниматься рутинной партийной работой в Татарстане, Марий Эл и Киргизии.
В гору Ежова пошел, когда в стране махровым цветом расцвел бюрократический социализм Сталина. Партийный аппарат взял верх над старой «ленинской гвардией», теперь в нем многое, если не все, решала «функция». Умение «винтика» в многосложной бюрократической махине грамотно составить бумагу и подать ее наверх, вовремя уловить, в каком направлении дуют ветры во властных кабинетах, ценилось больше всего. В этом Ежов мог дать фору недавним кумирам народных масс и творцам революции. Исключительная исполнительность, красивый почерк, отработанный стиль письма, пусть медленно, но помогали ему подниматься по служебной лестнице. Его начальники, получив очередное назначение, не забывали про «скромную трудовую лошадку», безропотно везущую «воз дел», и тащили за собой.
В 1927 году Ежова выдвинули на должность помощника заведующего организационно-распределительного отдела ЦК ВКП(б), это назначение стало поворотным в его судьбе. Оказавшись в Москве, да еще в составе партийного аппарата, он почувствовал себя как рыба в воде. Смехотворный рост — злые языки шутили: «Нашего Колю можно заметить по тени или по шороху», неброская внешность и тихий нрав делали его в глазах ярких и амбициозных коллег не конкурентом в борьбе за близость к НЕМУ — Вождю. Ежов же до поры до времени терпел насмешки коллег-конкурентов, тихим сапом карабкался по аппаратной лестнице и дорос до должности заместителя председателя Комитета партийного контроля при ЦК ВКП(б) — партийной инквизиции. На ней он, возможно бы, и застрял, если бы не случай.
1 декабря 1934 года громом средь ясного неба прозвучало убийство в стенах «партийного храма» — в Смольном первого секретаря Ленинградского обкома и горкома партии, «любимца партии» Сергея Кирова. События, связанные с ним, послужили трамплином для прыжка Ежова на самую вершину властной пирамиды. 2 декабря он в составе партийно-чекистского десанта, возглавляемого Сталиным, высадился в Ленинграде. Ежову поручили по линии Комитета партийного контроля провести проверку состояния дел в ленинградской партийной организации.
В отличие от начальника УНКВД по Ленинградской области заслуженного чекиста Филиппа Медведя, расценившего действия убийцы — Леонида Николаева, приревновавшего Кирова к своей супруге — Мильде Грауде, как уголовное преступление и поплатившегося за это головой, Ежов с полунамека понял Сталина, что в Северной столице засели «враги советской власти». Он, подобно Малюте Скуратову, принялся безжалостно искоренять политическую вольницу и фронду в партийных организациях Ленинграда. Ему удалось разглядеть за спиной убийцы-ревнивца далеко идущий заговор, направленный против «товарища Сталина и проводимой им линии на индустриализацию и коллективизацию страны». И не просто заговор местных партийных оппозиционеров, а заговор, нити которого вели за границу к заклятому врагу Вождя — Троцкому и оппонентам в партии Зиновьеву и Каменеву.