Абакумов отслужил два года рядовым 2-й Московской бригады частей особого назначения. После армии был разнорабочим, упаковщиком, грузчиком, стрелком военизированной охраны. В 1930 году, когда он стал заместителем заведующего торгово-посылочной конторы наркомата торговли РСФСР, его приняли в партию, и с этой минуты началась карьера. В октябре того же 1930-го он перешел на штамповочный завод «Пресс», его избрали секретарем комсомольской ячейки, а на следующий год сделали заведующим военным отделом и членом бюро Замоскворецкого райкома комсомола.
В январе 1932 года по партийной путевке Абакумова взяли в аппарат НКВД практикантом экономического отдела полномочного представителя ОГПУ по Московской области. Год он проработал оперативным уполномоченным экономического отдела (борьба с диверсиями и вредительством в народном хозяйстве). В 1933-м его перевели в экономическое управление центрального аппарата госбезопасности. Но на этой должности он продержался всего год.
Чуть ли не единственное свидетельство о начале работы Абакумова принадлежит Михаилу Павловичу Шрейдеру, у которого в экономическом отделе ОГПУ и начинал Виктор Абакумов. Его взяли по рекомендации большого начальства, которое выразилось так: хороший парень, хотя звезд с неба не хватает.
Его первые начальники в ОГПУ Московской области презрительно называли его «фокстротчиком». Будущий министр и в самом деле увлекался танцами и больше всего любил модный тогда фокстрот — бальный танец, пришедший из Америки.
Еще больше он увлекался женщинами и пользовался взаимностью. Он вербовал молодых женщин и развлекался с ними на конспиративных квартирах, а потом писал от их имени донесения с обвинениями врагов народа.
После того как все это вскрылось, пишет в своих воспоминаниях Михаил Шрейдер, он написал руководству рапорт о необходимости немедленного увольнения Абакумова как разложившегося и непригодного к оперативной работе, да и вообще к работе в органах. Абакумов был из экономического отдела уволен. Но чья-то сильная рука снова поддержала его, и он был переведен в ГУЛАГ…
Проверить подлинность этого рассказа трудно, но Абакумова действительно перевели из экономического отдела и назначили оперативным уполномоченным 3-го отделения отдела охраны Главного управления лагерей НКВД. На этой незавидной должности он просидел три года. В декабре 1936 года получил специальное звание младшего лейтенанта госбезопасности.
В 1937 году его перевели в 4-й (секретно-политический) отдел Главного управления госбезопасности НКВД, а на следующий год назначили во 2-й (оперативный) отдел ГУГБ, занимавшийся обысками, арестами, наружным наблюдением и установкой подслушивающей техники. Физически очень крепкий, Абакумов идеально подходил для такой работы. Кирилл Столяров считает, что Абакумова приметил Богдан Захарович Кобулов, близкий к Берии человек, в 1938-м заместитель начальника ГУГБ НКВД.
Через несколько дней после утверждения Берии наркомом внутренних дел и начавшейся чистки аппарата Абакумов получил первое самостоятельное назначение. 5 декабря 1938 года он поехал начальником управления в Ростов.
В те годы начальники областных управлений, с головокружительной быстротой взлетавшие вверх по служебной лестнице, делали свою карьеру с помощью больших кулаков и бесконечного цинизма.
Ежов обвинял аппарат НКВД в том, что враги народа содержатся чуть ли не в санаторных условиях, что следователи допрашивают их в белых перчатках. Это возымело действие. Тем не менее новые методы работы с арестованными скрывались, то есть все понимали, что совершают пусть и санкционированное, но все же преступление. Избивали по ночам, когда технических работников в здании не было. Вслух об избиениях не говорили.
Каждой области выделялся лимит, предположим, на полторы тысячи человек по первой категории, то есть тройке под председательством начальника областного управления внутренних дел предоставлялось право без суда и следствия расстрелять полторы тысячи человек.
Составлялась «повестка», или так называемый «альбом», на каждой странице которого значилось: имя, отчество, фамилия, год рождения и совершенное «преступление» арестованного, после чего начальник УНКВД писал большую букву «Р» и расписывался, что означало: расстрел. И в тот же вечер или ночью приговор приводился в исполнение. Остальные члены тройки — первый секретарь обкома и прокурор, чтобы не отвлекаться от своих дел, подписывали незаполненную страницу «альбома-повестки» на следующий день авансом.
Или начальник управления звонил первому секретарю и говорил, что сам рассмотрит дела на таких-то лиц, а потом даст приговор на подпись. И первый секретарь соглашался: настолько непререкаемы были авторитет и сила власти, которой наделили начальника УНКВД.