В Ростове Абакумов прослужил до февраля 1941 года, когда был назначен заместителем наркома внутренних дел СССР. Снова прыгнув через ступеньку, он уже в марте 1940 года получает звание старшего майора ГБ (что соответствует армейскому полковнику), а 9 июля 1941 года ему присваивают звание комиссара госбезопасности 3-го ранга - по армейской «табели» это соответствует генерал-лейтенанту. Даже по меркам сталинских времен карьера просто фантастическая. Объяснение на ум приходит лишь одно: совершенно исключительные профессиональные качества, то, что в своей узкой области это был работник бериевского масштаба.
Не имевший формального образования, но наделенный острым и дисциплинированным умом, настойчивостью и бойцовским характером, Абакумов оказался превосходным руководителем. Как вспоминал о нем генерал КГБ Филипп Бобков (правда, имея в виду послевоенные времена - но какая разница?), он
Автор воспоминаний, правда, видит здесь определенную игру, но скорее причина была в другом: Абакумов сам в свое время засиделся на низовой работе, брошенный на произвол судьбы старшими товарищами, и теперь старался не допустить этого в отношении своих сотрудников. А то, что это яркий пассионарий даже по меркам сталинских «звездных» времен, видно невооруженным глазом.
В первые же дни войны Абакумов получил под свое начало Управление особых отделов в армии. А весной 1943 года, во время очередной реорганизации спецслужб, стал начальником знаменитой контрразведки «СМЕРШ» и подчинялся теперь уже не Берии, а лично Сталину. О квалификации «смершевцев» много говорить не приходится: это была лучшая контрразведка Второй мировой войны. Об их работе можно писать сотни страниц, и все мало, однако нам важно лишь одно: особенно «СМЕРШ» прославился на стезе разведывательных игр.
Один из подчиненных Абакумова, А. И. Нестеров, вспоминал:
В работе и в жизни Абакумов не любил сложных маневров, шел напролом. С подчиненными был сух, официален, никакого панибратства - однако всегда готов помочь. Вспоминает П. И. Ивашутин - будущий генерал армии, начальник ГРУ, судя по биографии, человек, служивший совершенно другим политическим силам, от которого трудно бы ждать хороших слов о ненавистном хрущевцам министре.
В 1942 году Ивашутина неожиданно вызвали в Москву.