Быстро израсходовав лимит, начальник управления просил Москву увеличить его. Просьба удовлетворялась, а начальник управления заслуживал похвалы за рвение в борьбе с врагами народа. Существовали еще и тройки милицейские, чтобы помочь гражданским судам, которые не успевали переваривать огромное количество дел по уголовным преступлениям. Милицейские тройки не имели права осуждать больше чем на пять лет.
Абакумов возглавил Ростовское областное управление, когда авральная чистка, устроенная Ежовым, уже закончилась. Работа при Берии приобрела более спокойный, методичный характер. И начальники управлений перестали меняться каждые несколько месяцев, поэтому Абакумов просидел на своем посту два с лишним года и сумел произвести наверху самое выгодное впечатление. Он получил знак «Почетный работник ВЧК — ОГПУ» в 1938-м и орден Красного Знамени в 1940-м.
3 февраля 1941 года НКВД поделили на два наркомата — внутренних дел и госбезопасности — в связи с чем понадобилось вдвое больше высших чиновников. Берия вызвал Абакумова в Москву, и 25 февраля он был назначен заместителем наркома внутренних дел вместе с другим будущим министром — Сергеем Никифоровичем Кругловым.
Со временем они сами возглавят органы, Абакумов — министерство госбезопасности, Круглов — внутренних дел…
В роли заместителя Берии Абакумов курировал Главное управление милиции, Главное управление пожарной охраны и 3-й отдел (оперативно-чекистское обслуживание пограничных и внутренних войск). Но этим он занимался всего несколько месяцев.
После начала войны, 19 июля 1941 года, Сталин поставил Абакумова во главе Управления особых отделов НКВД СССР — военной контрразведки.
Особый отдел ВЧК в армии и на флоте был создан в декабре 1918 года. Отдел возглавлял сам Дзержинский, потом Менжинский. Двадцать с лишним лет военная контрразведка находилась в составе органов госбезопасности ВЧК — ОГПУ — НКВД. 8 февраля 1941 года совместным постановлением ЦК и правительства был ликвидирован Особый отдел ГУГБ НКВД СССР и созданы органы военной контрразведки в наркоматах обороны и военно-морского флота — Третьи управления НКО СССР и НКВМФ СССР. Военная контрразведка перешла в руки военных. Но ненадолго.
Через несколько недель после начала войны, 17 июля 1941 года, Государственный комитет обороны передал военную контрразведку из наркомата обороны назад в НКВД, где было создано Управление особых отделов. Видя, что армия отступает, Сталин вернул контроль над вооруженными силами в руки НКВД. Начальником управления стал заместитель наркома внутренних дел Виктор Абакумов. Начальники особых отделов фронтов назначались приказами Берии.
Реорганизация сперва коснулась только сухопутных войск. Но в январе 1942 года Третье управление наркомата военно-морского флота преобразовали в 9-й отдел Управления особых отделов НКВД. Однако на этом перекройка органов контрразведки не закончилась.
Через год, 19 апреля 1943 года, особые отделы из НКВД опять забрали, и на их основе были созданы Главное управление контрразведки (ГУКР) СМЕРШ наркомата обороны и Управление контрразведки СМЕРШ наркомата военно-морского флота. Один из отделов контрразведки СМЕРШ присматривал за войсками наркомата внутренних дел.
Начальником ГУКР СМЕРШ был назначен Абакумов. По должности он стал заместителем наркома обороны и подчинялся напрямую самому Сталину. Впрочем, через месяц, 25 мая, он перестал быть заместителем наркома, но подчинялся все равно только Верховному главнокомандующему.
В 1946 году военную контрразведку в виде особых отделов вернули в систему госбезопасности…
СМЕРШ обладал собственной следственной частью и благодаря широким полномочиям и личному покровительству Сталина превратился в мощное ведомство.
1-й отдел СМЕРШ контролировал Генеральный штаб Рабоче-Крестьянской Красной армии, штабы фронтов и армий, Главное разведывательное управление и разведорганы фронтов и армий.
2-й отдел ведал противовоздушной обороной, авиацией и воздушно-десантными войсками.
3-й отдел — танковыми войсками, артиллерией, гвардейскими минометными частями.
4-й отдел руководил агентурно-оперативной работой фронтов. 2-е отделение занималось борьбой с дезертирством, изменами и самострелами и организацией заградительной службы, 4-е — ведало редакциями военных газет, трибуналами, военными ансамблями и военными академиями.
5-й отдел отвечал за интендантское снабжение, военную медицину, военные перевозки.
6-й отдел занимался оперативным обслуживанием войск НКВД (пограничники, внутренние и конвойные войска, части по охране тылов фронтов).
7-й отдел вел оперативный учет изменников Родины, шпионов, диверсантов, террористов, трусов, паникеров, дезертиров, самострельщиков и антисоветского элемента. 2-е отделение проверяло высший командный состав — тех, кто входил в номенклатуру ЦК, наркоматов обороны и военно-морского флота, а также шифровальщиков. Кроме того, оно давало допуск к секретной работе и проверяло командируемых за границу.