Возможно, именно эти качества и не понравились Сталину. И хотя Акулов, подобно другим лицам, стоявшим на вершинах власти, слепо исполнял все требования вождя, Сталин понимал, что на посту прокурора должен стоять не этот человек. Интеллигентность и мягкость только мешали исполнить роль организатора массовых репрессий — здесь нужен был другой, и он нашелся. Постановлением ЦИК СССР от 3 марта 1935 года И. А. Акулов был утвержден секретарем ЦИК с освобождением от обязанностей Прокурора Союза ССР, а на его место был назначен А. Я. Вышинский, которого Сталин, безусловно, лучше знал и которому больше доверял.
На новой должности Акулов работал с обычным энтузиазмом, полностью отдаваясь очередному делу, уготованному ему судьбой.
В мае 1937 года органами НКВД СССР была неожиданно арестована группа советских военачальников: М. Н. Тухачевский, И. П. Уборевич, А. И. Корк и другие. В их числе оказался и приятель Акулова, И. Э. Якир, с которым он поддерживал связь еще со времен Гражданской войны, а в конце 1920-х годов им привелось два года жить по соседству в Киеве. 11 июня Специальное присутствие Верховного суда СССР приговорило всех участников так называемого военного заговора к высшей мере наказания, мера эта была приведена в исполнение незамедлительно. После этого в армии начались повальные аресты.
Обстановка в высших эшелонах власти становилась все более гнетущей — каждый подозревал, что может стать следующей жертвой и попасть в ежовские застенки. Акулов заметно нервничал, хотя даже после освобождения от должности секретаря ЦИК не вполне верил, что его тоже могут арестовать. Его жена,
Н. И. Шапиро, позже писала: "В последние дни этот спокойный уравновешенный человек дошел до такой степени морального изнеможения, что не в состоянии был написать письмо в ЦК. Для него было все случившееся с ним непонятно, и неоднократно срывались вопросы "кому это нужно?" и "за что?". Также он говорил: "О чем просить, если я не знаю, в чем я виноват".
Ордер на обыск и арест Акулова был выдан заместителем наркома внутренних дел 23 июля 1937 года. В тот же день он был задержан на своей даче в селе Покровском Красногорского района. Обыск произвели и в его московской квартире, в особняке ЦИК на Троицкой улице.
Через два дня он собственноручно заполняет так называемую анкету арестованного, в которой сообщает основные биографические данные. В то время на его иждивении находится большая семья — жена Надежда Исааковна Шапиро, трехмесячная дочь Елена, девятилетний сын-второклассник Гавриил (отец звал его Ганей) и мать, Мария Ивановна, — ей семьдесят четыре. Кроме того, с ним проживали и сестры, Анна Алексеевна и Мария Алексеевна.
И. А. Акулова поместили в Лефортовскую тюрьму. Делом занимались сотрудники госбезопасности Краев и Альтман. Сначала допрашивал Краев — без протокола. 4 августа Иван Алексеевич написал собственноручное заявление на имя следователя Альтмана, вот некоторые строки этого документа.
"Вчера на допросе у следователя Краева я дал частичные показания (устно) о своем участии в троцкистской организации и подготовке антисоветского вооруженного переворота в стране.
Эти мои показания были еще далеко не полными, но по существу полностью правдивыми.
Сегодня я снова сдвурушничал, и вместо того, чтобы продолжить показания о своей предательской деятельности, я заявил, что участником троцкистской организации не являлся…
Утверждаю, что правде соответствует следующее: я, Акулов, являлся участником антисоветской троцкистской организации и подготовки антисоветского вооруженного переворота…"
Судя по заявлению, Акулов более десяти дней держался стойко и не давал каких-либо признательных показаний, но все же был сломлен. Повод для шантажа очевиден — следователи искусно пользовались тем, что у него оставалась жена с малолетними детьми и престарелая мать. Несомненно, без физического воздействия тоже не обошлось — на тюремной фотографии один глаз у него почему-то закрыт. Может, заплыл?