В 1923 году Иван закончил среднюю школу в г. Кадников, и, несмотря на молодость, был избран членом волостного исполкома, а в 1925 году — кандидатом в члены РКП(б). Тогда же Вологодской губернский комитет РКП(б) направил его на учебу в Ленинградскую пехотную школу им. Склянского, где в 1926 году он был принят в партию. Закончив школу в сентябре 1928 года, Иван Серов служил в РККА: командиром взвода 66-го стрелкового полка (сентябрь 1928 — октябрь 1929), 22-го артиллерийского полка (октябрь 1929 — февраль 1931). Окончив разведывательное отделение Артиллерийских курсов усовершенствования комсостава в Ленинграде (1930–1931), он был командиром взвода разведслужбы 9-го корпусного артполка (февраль — декабрь 1931), помощником командира батареи разведслужбы (декабрь 1931 — март 1934), помощником начальника штаба 24-го артиллерийского полка (март — ноябрь 1934).
Как и многие красные командиры, Серов решил не ограничивать свое образование военной школой. В ноябре 1934 года он поступил на подготовительный курс Военно-инженерной академии им. В.В. Куйбышева, в мае 1936-го перешел на основной факультет Военной академии им. М.В. Фрунзе, а закончил в мае 1939 года специальный факультет ВАФ. Но еще во время учебы в январе 1939-го его направили сначала в распоряжение Разведупра РККА, а затем НКВД СССР. В том же году в первом сборнике «Трудов Академии» был опубликован его реферат «Войсковая разведка японской армии».
После смещения в ноябре 1938 года В. Ежова новый нарком внутренних дел Л. Берия начал чистку кадрового состава госбезопасности, и в НКВД открылось множество вакансий. В условиях острой нехватки кадров на руководящую работу в органы госбезопасности в конце 1938 и начале 1939 года пришло многочисленное пополнение из партийных, совегских и комсомольских органов, выпускников вузов и слушателей военных академий. Майор Серов попал в их число, и 9 февраля 1939 года был сразу назначен на высокую должность заместителя начальника Главного управления рабоче-крестьянской милиции (ГУРКМ) НКВД СССР.
Благодаря особому расположению Берии карьера Серова развивалась стремительно: уже 18 февраля 1939 года он стал руководителем всей милиции Советского Союза — начальником ГУРКМ НКВД СССР. 15 февраля 1939 года ему присваивается специальное звание майора госбезопасности, а 30 апреля — старшего майора госбезопасности (комдив в армии).
Ответственная должность и незнакомая работа поначалу ошеломила Серова. В начале 1939 года в аппарате НКВД шли постоянные разоблачения прежнего «вражеского руководства», и новый начальник не остался в стороне, приняв активное участие в поисках «врагов».
По воспоминаниям бывшего начальника Управления Рабоче-Крестьянской милиции Казахстана М. Шрейдера, находившегося в 1939 году под следствием в Москве, на один из допросов вдруг явился Серов. Поговорив о пустяках, он бесхитростно объяснил, зачем пришел: «Вот вы, например, очень могли бы помочь мне, новому в органе человеку… если бы разоблачили работников Главного управления милиции, участвующих в вашем контрреволюционном заговоре. Ведь поймите, я чувствую, что окружен врагами, и не знаю их».
Руководителем милиции Серов проработал недолго. 29 июля 1939 года его назначают начальником 2-го Отдела Главного управления Государственной безопасности (ГУГБ) и одновременно заместителем начальника ГУГБ НКВД СССР. В его задачи входила борьба с антисоветскими элементами и враждебными лицами в государственных учреждениях, чекистское наблюдение за наукой, литературой и искусством, борьба против руководителей духовенства, бывших партийных оппозиционеров и т. д. Отдел, руководимый Серовым, назывался «секретно-политическим».
2 сентября 1939 года И.А. Серова назначили наркомом внутренних дел Украины. Через два дня приказом НКВД ему присвоили специальное звание комиссара Госбезопасности 3-го ранга (в армии — комкор).
Оказавшись на Украине, Серов включился в советизацию захваченных СССР польских земель. Он подолгу бывал во Львове и лично руководил арестами и «чисткой» города от «буржуазных и польских националистических элементов». Во Львове он вел вполне светскую жизнь, посещая рестораны и театры.
Работа на Украине сблизила Серова с Н. Хрущевым — тогда первым секретарем ЦК КП(б) У. Впоследствии, когда многие чекисты из окружения Берии были наказаны, их дружба определила карьерный путь Серова, позволив ему выдвинуться в 1954 году на должность председателя КГБ.
Осенью 1939 года И.А. Серов утвердил инструкцию о порядке выселения, которая была одобрена в Москве и применялась при массовых выселениях и арестах в Литве, Латвии, Эстонии в июне 1941 года. Нужно заметить, что он лично руководил операциями по массовой депортации мирного населения.
В январе 1941 года Ивана Александровича избрали депутатом Верховного Совета СССР 1-го созыва от Ворошилов-градской области УССР. Именно тогда Серов прочно вошел в высший круг советской и партийной номенклатуры. 20 февраля 1941 года на XVIII Всесоюзной партийной конференции ВКП(б) его избрали кандидатом в члены ЦК ВКП(б).