Карьера в «органах» у Абакумова шла трудно. Чем-то он этой структуре не подходил. Сначала работал в экономическом отделе, потом почти три года отслужил в ГУЛАГе. Первое офицерское звание - младший лейтенант - получил лишь в декабре 1936 года. Только ежовская чистка помогла чуть-чуть продвинуться по карьерной лестнице - в апреле 1937 года его назначили оперуполномоченным в 4-е отделение ГУГБ. 4-е отделение - секретно-политическое, в ежовском НКВД самое перспективное место... или же самое неперспективное. Если ты даешь хорошие показатели - едешь вверх как на лифте, если не даешь - ты никто и звать тебя никак. В 1937 году добиться приемлемых для наркома показателей можно было лишь одним методом.
Абакумов карьеры не сделал. К моменту прихода в «органы» Берии он достиг должности помощника начальника отделения и имел звание лейтенанта ГБ. Возможно, причину столь медленного служебного роста объяснят воспоминания старого чекиста Ведерникова, приведенные в книге Олега Смыслова «Генерал Абакумов. Всесильный хозяин СМЕРШа».
Неудивительно, что в ежовском НКВД он не сделал карьеры.
Зато при новом начальстве не пригодившийся в прежних органах лейтенант не шел, а летел вверх, перепрыгивая через звания и должности. Уже через три месяца после смены власти на Лубянке, в декабре 1938 года, капитан Абакумов становится начальником Ростовского УНКВД. Жуткое это было место, вотчина одного из самых кровавых людей «большого террора» - Евдокимова, залитое кровью по крыши. Новый начальник в рекордные сроки пересмотрел дела на еще живых арестованных и освободил около 60 процентов, без колебаний отдавая под суд фальсификаторов и палачей. За эту работу получил в апреле 1939 года орден Красного Знамени.
Непривычно звучит? Но было именно так.
В Ростове Абакумов прослужил до февраля 1941 года, когда был назначен заместителем наркома внутренних дел СССР. Снова прыгнув через ступеньку, он уже в марте 1940 года получает звание старшего майора ГБ (что соответствует армейскому полковнику), а 9 июля 1941 года ему присваивают звание комиссара госбезопасности 3-го ранга - по армейской «табели» это соответствует генерал-лейтенанту. Даже по меркам сталинских времен карьера просто фантастическая. Объяснение на ум приходит лишь одно: совершенно исключительные профессиональные качества, то, что в своей узкой области это был работник бериевского масштаба.
Не имевший формального образования, но наделенный острым и дисциплинированным умом, настойчивостью и бойцовским характером, Абакумов оказался превосходным руководителем. Как вспоминал о нем генерал КГБ Филипп Бобков (правда, имея в виду послевоенные времена - но какая разница?), он
Автор воспоминаний, правда, видит здесь определенную игру, но скорее причина была в другом: Абакумов сам в свое время засиделся на низовой работе, брошенный на произвол судьбы старшими товарищами, и теперь старался не допустить этого в отношении своих сотрудников. А то, что это яркий пассионарий даже по меркам сталинских «звездных» времен, видно невооруженным глазом.