12 июля 1951 года его отстранили от должности, взяли под стражу, и поместили в Лефортовскую тюрьму под номером 15. (Под этим номером он будет значиться до конца своих дней.)
Самое нелепое заключалось в первоначальном обвинении министра госбезопасности: его арестовали как разоблачённого лидера еврейских националистов!
Собственно, всякая надобность в Рюмине отпала, едва Абакумов лишился поста и свободы. Высокопоставленные организаторы аппаратной комбинации смотрели на новоиспечённого заместителя министра, как на досадную и неприятную помеху.
Рюмин орудовал самозабвенно. Ему казалось, что в его лице русская страна обрела освободителя от жидовского ига. Под стражей оказались 217 писателей, 108 актёров, 87 художников, 19 музыкантов. Не оставил он без внимания и родное министерство. Вместе с Абакумовым были арестованы начальник следственной части А. Леонов, его заместители М. Лихачёв, В. Комаров и Л. Шварцман, начальник секретариата И. Чернов и его заместитель Я. Броверман. Кроме них в камерах внутренней тюрьмы оказались чекисты с крупными звёздами на погонах: Селивановский, Питовранов, Шубняков, Райхман, Утехин, Белкин и др. Арестовал он и полковника А. Свердлова, сына Янкеля Свердлова.
В своё время Абакумов попытался остудить пыл Рюмина. В следственных делах надо трезво исходить из имеющихся возможностей. Объявить о заговоре легче лёгкого, но как выстроить всю систему убедительных доказательств? Разумеется, из арестованных можно выбить что угодно. Однако даже мало-мальски опытный человек сразу увидит все нестыковки и натяжки. А такое «громкое» дело, какое вздумал затеять Рюмин, прямо-таки обречено находиться под личным контролем самого Сталина.
Абакумов знал, что говорил. Так и выходило. И первым, на ком споткнулся Рюмин, оказался Абакумов. Бывший грузчик, этот человек проявлял нечеловеческую выдержку. Рюмин и его мордовороты в Лефортовской тюрьме отбили об него все кулаки. Несколько раз допрос заканчивался тем, что у потерявшего сознание подследственного выпадала прямая кишка. В камеру его оттаскивали волоком. Рюмин, остервеняясь, приказал держать его в наручниках постоянно. Потом он изобрёл такой способ пытки: Абакумову приковали кисти рук к лодыжкам ног и в таком согнутом состоянии поместили на несколько суток в морозильник. Ничего не помогало. Заключённый № 15 держался стойко и ни одного протокола не подписал.
А следствием над Абакумовым постоянно интересовался Сталин!
Пришлось перейти на тактику «обкладывания», т. е. оговора. Необходимые показания стали выколачивать из других обвиняемых. Тут дело пошло успешнее. Рюмин выяснил, что женат Абакумов на дочери известного эстрадного артиста Орнальдо, а тот в свою пору находился в близких отношениях с маршалом Тухачевским. Ага, уже зацепка! (Тестя Абакумова уже не было в живых, но его дочь арестовали и вместе с грудным ребёнком поместили в вонючую камеру. Там её продержали целых три года.)
Показания подписали начальник Лечсанупра Кремля П. Егоров, лечащий врач Сталина профессор В. Виноградов, лечащий врач Жданова Г. Майоров. Активно взялись сотрудничать со следствием и коллеги Рюмина: полковники Лихачёв и Шварцман. Эти долгого «бойла» не вынесли и подписывали всё, что им писали в протоколах.
Особенно повезло Рюмину с бывшим следователем-важняком Львом Шварцманом. На Лубянке у него были обязанности «писателя»: он толково оформлял протоколы допросов, излагая в хорошей литературной манере следственный материал, добытый «забойщиками» в камерах пыток. В свои молодые годы Шварцман был журналистом, сотрудничал в газетах «Киевский пролетарий» и «Московский комсомолец». Его талант оказался востребованным на ниве борьбы с врагами народа. Шварцман своими показаниями помог основательно «обложить» упорного министра. Абакумов, как он утверждал, являлся признанным «вождём евреев в органах ЧК и прокуратуры». Правда, слаба была доказательная часть, но в этом отношении Абакумова «закопают» другие арестованные. Зато Шварцман смешал бывшего министра с грязью, показав, что он, Шварцман, как педераст, имел постоянные половые контакты с Абакумовым на службе (Рюмин знал, с каким отвращением относится Сталин к гомесекам). Следствие в этом отношении совершило явный перебор, «установив», что Шварцман имел половые связи с послом Великобритании А. Керром, а также со своим сыном Сергеем и дочерью Анной.
Активные формы допросов давали изобильный материал. Труды «забойщиков» и «писателей» приносили свои плоды. Игнатьев, новый министр госбезопасности, выделил в отдельное производство дело полковника Майрановского, начальника Спецлаборатории, имевшего отношение к выполнению самых секретных поручений, а также двух провокаторов-педерастов Гаврилова и Лаврентьева, внедрённых в штат обслуги посольства США в Москве.