Активная жизненная позиция Абакумова не осталась незамеченной товарищами по работе, они избрали его секретарем первичной комсомольской организации штамповочного завода «Пресс». Вскоре на энергичного и деятельного вожака молодежи, имевшего военную закалку, обратили внимание старшие товарищи из Московского горкома ВКП(б). В октябре 1930 года Виктора направили на новый ответственный участок работы — руководить военным отделом Замоскворецкого райкома ВЛКСМ.
1932 год в судьбе Абакумова стал переломным. Молодого коммуниста районная партийная организация рекомендовала на еще более ответственный участок работы — в органы Объединенного государственного управления (ОГПУ). Ему, уже сложившемуся руководителю, пришлось начинать все сначала. Азы контрразведки он осваивал в должности оперуполномоченного экономического отдела ОГПУ СССР. В дальнейшем Абакумов быстро поднимался по служебным ступенькам, и незадолго до войны, 25 февраля 1941 года, в возрасте 33 лет стал заместителем наркома внутренних дел СССР, а через пять месяцев, 19 июля 1941 года, возглавил Управление особых отделов НКВД СССР (военная контрразведка).
В столь, казалось бы, стремительном взлете Абакумова к вершинам власти могущественной спецслужбы был период, когда его карьера, да и сама жизнь едва не пошли под откос. В 1934 году из-за высказываний антисемитского характера и проявленную пассивность в изобличении своего начальника, «замаскировавшегося троцкиста», Абакумова отстранили от работы. После завершения служебного разбирательства направили на тупиковую должность «вечного опера» в 3-е отделение Главного управления лагерей (ГУЛАГа).
Убийство в Смольном 1 декабря 1934 года популярного среди коммунистов и народа руководителя ленинградской парторганизации, члена Политбюро, Оргбюро и секретаря ЦК ВКП(б) Сергея Кирова вызвало повальную чистку в НКВД. Коса «большого террора» безжалостно прошлась по рядам чекистов. После нее в коридорах и в кабинетах на Лубянке, управлениях НКВД на местах царила гнетущая тишина.
К тому времени остановка в мире серьезно осложнилась. В Германии и Италии к власти пришли фашисты. Реальный враг заставил советских руководителей в пожарном порядке комплектовать органы госбезопасности. Младшего лейтенанта Абакумова возвратили в боевой строй. Новые руководители НКВД закрыли глаза на «приложение к справке по личному делу и материалам спецпроверки на Абакумова».
В ней заместитель начальника отдела кадров НКВД СССР капитан госбезопасности Грибов указывал:
На фоне «злодеяний, совершенных Ягодой (бывшим главой НКВД) и бандой заговорщиков, пробравшейся в органы госбезопасности», прегрешения Абакумова выглядели детским лепетом.
15 апреля 1937 года его возвратили в Секретно-политический отдел (4-й) ГУГБ НКВД СССР. Службу на новом месте он начал с должности оперуполномоченного, на ней не задержался, благодаря деловой хватке и организаторским способностям быстро поднялся по ступенькам служебной лестницы.
Войну Абакумов встретил в звании комиссара государственной безопасности 3-го ранга, в качестве руководителя военной контрразведки. После тяжелейших потерь, понесенных в первые месяцы войны, он железной, но разумной рукой навел порядок в рядах военных контрразведчиков. Его, а также усилиями заместителей Н. Селивановского, И. Бабича, а также П. Ивашутина, И. Устинова, А. Матвеева и В. Федорчука, впоследствии занявших ключевые посты в отечественных спецслужбах, была создана самая эффективная контрразведка того времени.