Его первые начальники в ОГПУ Московской области презрительно называли новичка «фокстротчиком». Будущий министр и в самом деле увлекался танцами и больше всего любил модный тогда фокстрот — танец, пришедший из Америки. Еще больше он увлекался женщинами и пользовался взаимностью. Он вербовал молодых женщин и развлекался с ними на конспиративных квартирах, а потом писал от их имени донесения с обвинениями врагов народа.
В 1938 году его взяли во 2-й (оперативный) отдел ГУГБ, занимавшийся обысками, арестами, наружным наблюдением и установкой подслушивающей техники. Физически очень крепкий, Абакумов идеально подходил для такой работы. А через несколько дней после утверждения Берии наркомом внутренних дел и начавшейся чистки аппарата Абакумов получил первое самостоятельное назначение.
5 декабря 1938 года он поехал начальником управления в Ростов. В те годы начальники областных управлений, с головокружительной быстротой взлетавшие вверх по служебной лестнице, делали свою карьеру с помощью больших кулаков и бесконечного цинизма.
3 февраля 1941 года НКВД поделили на два наркомата — внутренних дел и госбезопасности — понадобилось вдвое больше высших чиновников. Берия вызвал Абакумова в Москву. 25 февраля он был назначен заместителем наркома внутренних дел. А после начала войны, 19 июля 1941 года, Сталин поставил Абакумова во главе Управления особых отделов НКВД СССР — военной контрразведки.
Статный и уверенный в себе Виктор Семенович Абакумов приглянулся Сталину.
Положение о военной контрразведке перечисляло задачи особистов: пресекать шпионаж и попытки диверсий, вскрывать вредительство, ликвидировать «всякого рода антисоветские проявления в Красной армии (контрреволюционная агитация, распространение антисоветских листовок, провокационных слухов)»: предупреждать «контрреволюционные проявления по всем линиям», «систематически очищать ряды армии от проникших социально опасных лиц». Это была не контрразведка в обычном понимании, а аппарат контроля над вооруженными силами.
19 апреля 1943 года вождь вывел особые отделы из состава Наркомата внутренних дел. На их основе создал Главное управление контрразведки «Смерть шпионам» (Смерш) Наркомата обороны и Управление контрразведки «Смерш» Наркомата военно-морского флота.
Начальником Смерша был назначен комиссар госбезопасности 3-го ранга Виктор Абакумов. По должности он стал одновременно заместителем наркома обороны и подчинялся напрямую самому Сталину. Впрочем, через месяц, 25 мая, он перестал быть заместителем наркома, но подчинялся все равно только Верховному главнокомандующему. Смерш обладал собственной следственной частью и благодаря широким полномочиям и личному покровительству Сталина превратился в мощное ведомство.
В центральном аппарате Смерша служило 646 человек. Размещались сотрудники в доме номер 2 на площади Дзержинского на четвертом и седьмом этажах. Офицеры Смерша получали такие же продовольственные и промтоварные карточки, как и армейские офицеры, вспоминает генерал Борис Васильевич Гераскин, начинавший службу под началом Абакумова. Карточки отоваривались в магазинах на Кузнецком Мосту и на улице Горького. Обедали офицеры по талонам в ведомственной столовой.
В конце войны Смерш занялся солдатами Красной армии, попавшими в немецкий плен, и советскими гражданами, оказавшимися на территории Германии то ли по своей воле, то ли по принуждению. Почти все они прошли через фильтрационные лагеря. Бывших военнопленных отправляли на самые тяжелые работы.
Аресты военных по выдуманным обвинениям продолжались всю Великую Отечественную, несмотря на то что шла жестокая война и каждый человек был нужен на фронте. Масштабы арестов среди генеральского состава свидетельствуют о том, каким большим осведомительным аппаратом была пронизана военная среда.
Обвинительные заключения по делам арестованных генералов свидетельствуют о том, что многие военачальники в своем кругу откровенно говорили о причинах катастрофы лета сорок первого и о роли самого Сталина в подрыве обороноспособности страны. Значит, такие настроения в офицерской среде были достаточно распространены. Но большинство из осторожности держали подобные мысли при себе.
4 мая 1946 года Абакумов сменил Меркулова на посту министра госбезопасности. Главное управление контрразведки «Смерш» включили в состав министерства на правах Третьего главного управления.