Первые допросы Абакумова проводили представители прокуратуры, в частности заместитель Генерального прокурора СССР т. Мокичев. Вначале вопросы касались основного обвинения: «Почему вы долго не арестовывали Этингера, а после ареста запретили допрашивать о терроре, сказав Рюмину, что Этингер «заведет в дебри»?»
Абакумов отвечал: «Руководство 2 управления доложило мне, что Этингер является враждебно настроенным. Я поручил подготовить записку в ЦК. В записке были изложены данные, которые убедительно доказывали, что Этингер – большая сволочь. Это было в первой половине 1950 года, месяца не помню. Но санкции на арест мы не получали. А после того, как сверху спустили санкцию, я попросил доставить Этингера ко мне, так как знал, что он активный еврейский националист, резко антисоветски настроенный человек. «Говорите правду, не кривите душой», – предложил я Этингеру. На поставленные мною вопросы он сразу же ответил, что его арестовали напрасно, что евреев у нас притесняют. Когда я стал нажимать на него, Этингер сказал, что он честный человек, лечил ответственных людей. Назвал фамилию Селивановского, моего заместителя, а затем Щербакова. Тогда я заявил, что ему придется рассказать, как он залечил Щербакова. Тут он стал обстоятельно доказывать, что Щербаков был очень больным, обреченным человеком. В процессе допроса я понял, что ничего, совершенно ничего, связанного с террором, здесь нет. А дальше мне докладывали, что чего-то, заслуживающего внимания, Этингер не дает».
Абакумову также вменили в вину, что он не придал значения информации о создании в Москве молодежной подпольной группы «СДР» («Союз за дело революции»).
Абакумов заявил Мокичеву: «У меня были ошибки, недостатки и неудачи в работе. Это все, в чем я виноват… Утверждаю, что никаких преступлений против партии и Советского правительства я не совершал. Я был весь на глазах у ЦК ВКП (б). Там повседневно знали, что делается в ЧК…»
После ареста Абакумов обратился с первым и последним письмом к Сталину: «…Теперь по поводу заявления тов. Рюмина о том, что я якобы намекнул Этингеру, чтобы он отказался от показаний по террору. Этого не было и быть не могло. Это неправда. При наличии каких-либо конкретных фактов, которые дали бы возможность зацепиться, мы бы с Этингера шкуру содрали, но этого дела не упустили бы… Должен прямо сказать Вам, товарищ Сталин, что я сам не являюсь таким человеком, у которого не было бы недостатков. Недостатки имеются и лично у меня, и в моей работе… В то же время с открытой душой заверяю Вас, товарищ Сталин, что отдаю все силы, чтобы послушно и четко проводить в жизнь те задачи, которые Вы ставите перед органами ЧК. Я живу и работаю, руководствуясь вашими мыслями и указаниями, товарищ Сталин, стараюсь твердо и настойчиво решать вопросы, которые ставятся передо мной. Я дорожу тем большим доверием, которое вы мне оказывали и оказываете за все время моей работы, как в период Отечественной войны, так и теперь – в МГБ СССР».
На допросах в прокуратуре Абакумов упорно отказывался признавать вину. 22 февраля 1952 года Рюмин, побывавший незадолго до того вместе с заместителем МГБ С. А. Гоглидзе на докладе у Сталина, подписал постановление о передаче следствия по делу Абакумова в МГБ и переводе его в Лефортовскую тюрьму.
На допросах с применением пыток от некоторых сотрудников Абакумова удалось добиться показаний против него. Абакумова тоже жестоко пытали.
Состояние Абакумова подтверждает медицинская справка из санчасти тюрьмы от 24 марта 1952 года: «Заключенный № 15 еле стоит на ногах, передвигается с посторонней помощью, жалуется на боли в сердце, слабость, головокружение… Бледен, губы и слизистые с цианотичным оттенком. При пальпации спины болезненность мышц в области межреберных промежутков… Стопы гиперемированы, пастозны… По состоянию здоровья нуждается в переводе из карцера в камеру».
3 ноября 1952 года (через 11 дней будет снят со своего поста) Рюмин утвердил постановление о предъявлении дополнительного обвинения:
«Принимая во внимание, что следствием по делу Абакумова собраны доказательства, изобличающие его в том, что он:
а) вынашивал изменнические замыслы и, стремясь к высшей власти в стране, сколотил в МГБ СССР преступную группу из еврейских националистов, с помощью которых обманывал и игнорировал ЦК ВКП (б), собирал материалы, порочащие отдельных руководителей Советского правительства, а также отгораживал чекистский аппарат от руководящих партийных органов;
б) опираясь на своих сообщников, проводил вредительскую подрывную работу в области контрразведывательной деятельности…
– дополнительно предъявить Абакумову Виктору Семеновичу обвинение в совершении преступлений, предусмотренных ст. ст. 58–7, 58–8 и 58–11 УК РСФСР».