13 июля арестовали и вторую жену Абакумова вместе с грудным ребенком. Причем, как пишет К. Столяров, «ребенок причинил сотрудникам прокуратуры Союза массу хлопот — у матери сразу же пропало молоко, и чтобы мальчик выжил, им пришлось позаботиться об искусственном питании».
К слову, на квартире у матери Антонины Николаевны (тещи Абакумова) во время обыска нашли две книги, выпущенные для служебного пользования, о работе английской контрразведки и американского Федерального бюро расследований. Хранение такой литературы лишь усугубило вину второй жены бывшего министра государственной безопасности. Первой же жене повезло гораздо больше. Ее сначала тоже хотели арестовать, но Генпрокурор СССР не усмотрел достаточных оснований для ее ареста.
После серии допросов ее выселили из квартиры, разрешив забрать оттуда только личные вещи, а потом и вовсе оставили в покое.
Вторая жена Абакумова вместе с сыном провела за решеткой 2 года 8 месяцев и вышла на свободу 9 марта 1954 года. А через десять месяцев, 26 января 1955 года, ее вызвали в милицию, где отобрали паспорт и выдали взамен другой — без права проживания в Москве.
А тем временем происходит нечто невообразимое. 13 июля 1951 года арестовывают начальника следственной части МГБ А.Г. Леонова и его заместителей: М.Т. Лихачева и Л.Л. Шварцмана. 25 июля 1951 года арестовывают управляющего делами МГБ М.К. Кочегарова, а на следующий день еще одного заместителя начальника следственной части МГБ В.И. Комарова. При этом аресты в МГБ продолжались и дальше.
Обязанности Абакумова начал исполнять его заместитель С.И. Огольцов, но, почувствовав неладное, он уже 3 августа доложил Сталину, что болен и по заключению врачей нуждается в постельном режиме. За себя он предложил кандидатуру Е.П. Питовранова.
На него и возложили исполнение обязанностей министра госбезопасности, а кроме того, возложили участие в допросах по делу Абакумова, бывшего шефа!
Рассказывает Н. Петров: «Незадолго до отпуска Сталин 24 июля 1951 года провел одну важную встречу с руководителями МГБ в присутствии Берии и Маленкова, на которой дал указания о серьезной перестройке агентурно-оперативной работы, предложив сократить тайную сеть МГБ на 2/3 (оставив только часть агентов и сократив всех осведомителей). Накануне своего отъезда Сталин 9 августа назначил министром госбезопасности партийного аппаратчика С.Д. Игнатьева, демонстративно оставив его по совместительству, в должности заведующего Отделом партийных, профсоюзных и комсомольских органов ЦК ВКП(б). В том же месяце был пересмотрен состав заместителей министра госбезопасности…
М.Д. Рюмин, в награду за разоблачение Абакумова, был назначен в июле исполняющим обязанности начальника следственной части по ОВД МГБ СССР и получил звание полковника. Но останавливаться на достигнутом он не желал и, направив Сталину на юг новое разоблачительное письмо, стал инициатором очередной волны арестов в аппарате МГБ. Копию этого письма 10 октября 1951 года Рюмин послал Маленкову. В нем говорилось о недостатках в работе 2-го главного управления МГБ и о том, что руководящие работники МГБ: Е.П. Питовранов, Ф.Г. Шубняков, Л.Х. Райхман, Н.Н. Селивановский, А.С. Блинов, В.П. Рогов, И.А. Чернов и другие, многие годы тесно работали с Абакумовым и находились под его враждебным влиянием.
Примерно в середине октября 1951 года министр госбезопасности С.Д. Игнатьев и его заместитель Н.П. Стаханов выехали для встречи со Сталиным на юг. При встрече Сталин подробно расспрашивал Игнатьева о работе МГБ и, в частности, о том, хорошо ли работают Е.П. Питовранов, Ф.Г. Шубняков и другие высокопоставленные чекисты. Игнатьев ответил, что в настоящий момент "чекисты работают лучше", а те, о ком Сталин спрашивает, — "честные люди". Выслушав его, Сталин заявил: "Слепой вы человек, ничего не видите, что вокруг делается", и дал Игнатьеву прочитать письмо Рюмина с обвинениями против Питовранова и других. Тут же, по ходу дела, Сталин дал указание "убрать всех евреев" из МГБ. Игнатьев, недоумевая, спросил — куда? И тут вождь изрек: "Я не говорю, чтоб вы их выгоняли на улицу. Посадите и пусть сидят", добавив фразу, которой суждено стать крылатой: "У чекиста есть только два пути — на выдвижение или в тюрьму".
На этой же встрече Сталин в категоричной форме потребовал назначить Рюмина не только начальником следственной части, но и заместителем министра госбезопасности. Игнатьев пробовал возражать, сославшись на то, что начальником следственной части МГБ уже утвержден А.Н. Кидин (работавший первым секретарем Владимирского обкома), на что Сталин отреагировал довольно резко, заявив: "Я такого не знаю". Разумеется, Сталин прекрасно знал всех первых секретарей обкомов, но кандидатура Кидина его не устраивала. Решение Сталина о начальнике следственной части было неукоснительно выполнено. Постановлением Совета Министров СССР № 4010—1837сс от 19 октября 1951 года М.Д. Рюмин был утвержден заместителем министра госбезопасности, членом Коллегии МГБ СССР и начальником следственной части по ОВД МГБ СССР».