Расширение в годы войны огромной империи Берии привело, по мнению Сталина, к тому, что и сам Берия имел слишком большую власть. В начале 1946 года он стал членом Политбюро и заместителем председателя СНК, но в то же время на посту в НКВД его сменил бывший первый заместитель медведеподобный Сергей Круглов, удостоенный почетного звания рыцаря Британской империи за обеспечение безопасности на конференциях «Большой тройки». В марте 1946 года НКГБ и НКВД были преобразованы из комиссариатов в министерства, что означало поднятие их статуса, и стали называться соответственно Министерством государственной безопасности (МГБ) и Министерством внутренних дел (МВД). Вскоре после этого протеже Берии Меркулова заменил на посту главы МГБ Виктор Семенович Абакумов, который, как и Круглов, не принадлежал к кавказской мафии Берии. Но если Сталин рассчитывал, что Абакумов ограничит влияние Берии в органах государственной безопасности, то на этот раз он ошибся. По утверждению Хрущева, Абакумов быстро стал «человеком Берии». Он никогда и никому, даже Сталину, ни о чем не докладывал, не посоветовавшись предварительно с Берией.
Стиль руководства Абакумова отличала жестокость, коррупция, но со своими ставленниками он был радушен и доброжелателен. По всей вероятности именно Абакумов, боящийся оказаться в тени исторических заслуг ЧК, распорядился удалить из мемориальной комнаты в офицерском клубе МГБ священные реликвии — посмертную маску, портрет и гимнастерку Дзержинского. Абакумов был постоянным ночным гостем клуба, куда он приходил поиграть с приятелями на биллиарде и переспать с одной из многочисленных любовниц в специально оборудованном личном номере, где всегда в большом выборе были импортные напитки и французская косметика. Установилась традиция, по которой выезжавшие за границу офицеры МГБ выражали свое уважение Абакумову дорогими подарками. Перебежчик Петр Дерябин вспоминал, что в Вене купил для шефа детскую коляску и платье, которые стоили. 100.000 рублей. «Аморальное поведение» и коррупция упоминались в числе официальных причин ареста Абакумова в 1951-м и казни в 1954 году.
На пост министра государственной безопасности Абакумов выдвинулся благодаря своим успехам во главе СМЕРШа, созданного в апреле 1943 года в результате реорганизации «специальных управлений» НКВД, занимавшихся контрразведкой в армии. На совещании руководителей разведслужб, на котором был создан СМЕРШ, председательствовал сам Сталин. Официальные документы свидетельствуют, что первоначально предлагалось название СМЕРНЕШ — от распространенного в годы войны лозунга «Смерть немецким шпионам!», но Сталин возразил:
«Почему, собственного говоря, мы должны иметь в виду только немецких шпионов? Разве другие разведслужбы не действуют против нашей страны? Давайте назовем Смерть шпионам или кратко — СМЕРШ.»
Основной задачей СМЕРШа, однако, стала не столько ловля иностранных шпионов, сколько слежка и выявление с помощью множества осведомителей недовольных и «предателей» в армии. Сталин подчеркнул огромное значение СМЕРШ тем, что взял его под свое личное руководство как председатель Государственного Комитета Обороны и народного комиссара обороны.
На освобождаемой Красной Армией территории СМЕРШ выявлял всех подозреваемых в сотрудничестве с врагом и подавлял националистскую оппозицию. В конце войны в задачи СМЕРШа вошла также проверка более пяти миллионов советских граждан, возвращавшихся из плена. Английские и американские разведслужбы, стремясь скрупулезно выполнить свои обязательства перед союзником, участвовали порой в варварских репатриациях. Многие из двух миллионов советских граждан, которых они, часто против воли этих людей, вернули на родину, просто сменили гитлеровские застенки на сталинские. Как завуалировано признает советская официальная история, СМЕРШ «с недоверием» относился к более чем миллиону советских военнопленных, переживших ужасы немецких лагерей. Почти все рассматривались как дезертиры. В июне 1945 года посол США в СССР Аверелл Гарриман докладывал в госдепартамент:
«Посольству известен лишь один случай, когда репатриированный вернулся к семье в Москву… Эшелоны с репатриантами проходят через Москву и движутся дальше на Восток, причем пассажиры их лишены возможности общаться с внешним миром, когда поезда стоят на московских вокзалах.»