В 1920 году Акулов избран секретарем Киргизского, а в 1920 году — Крымского обкома партии. Он везде нужен и востребован — в 1927–1931 годах председатель Всеукраинского совета профсоюзов, секретарь ВЦСПС, заместитель народного комиссара Рабоче-крестьянской инспекции СССР, член Президиума ЦКК. В 1931 году его направляют в органы Государственного политического управления — первым заместителем председателя ОГПУ, в 1932 году избирают секретарем ЦК КП (б) Украины по Донбассу.
Его жизнь резко изменилась, когда 20 июня 1933 года постановлением ЦИК и СНК СССР, подписанным М. И. Калининым, В. М. Молотовым (Скрябиным) и секретарем ЦИК А. Медведевым, была учреждена Прокуратура Союза ССР. Она создавалась "в целях укрепления социалистической законности и должной охраны общественной собственности по Союзу ССР от покушений со стороны противообщественных элементов". На следующий же день первым Прокурором Союза ССР был назначен Иван Алексеевич Акулов, а его заместителем — А. Я. Вышинский.
Будущий прокурор узнал о новом назначении совершенно неожиданно — он отдыхал с семьей в санатории "Мухалатка" в Крыму, туда и пришла правительственная телеграмма, подписанная Сталиным, Калининым и Молотовым.
17 декабря 1933 года ЦИК и СНК СССР приняли исключительно важный законодательный акт — "Положение о Прокуратуре Союза ССР", над которым Акулов работал лично. Этим же постановлением была упразднена Прокуратура Верховного суда СССР. Свою первоначальную функцию она выполнила, и теперь требовался другой орган, более мобильный и оперативный, способный сцементировать всю прокурорскую систему. Положение устанавливало, что Прокурор Союза ССР назначается ЦИК СССР, а его заместитель утверждается Президиумом ЦИК СССР. Прокурор Союза ССР отвечал только перед Совнаркомом СССР, ЦИК СССР — и его Президиумом.
Отличительной чертой Акулова, проявившейся на этом посту, была удивительная простота в общении как со своими подчиненными, так и с многочисленными посетителями. Укреплению связей работников прокуратуры с населением он уделял особое внимание. С первых же дней в Прокуратуре Союза ССР был налажен четкий порядок приема граждан и рассмотрения их жалоб и заявлений. Обязанность вести прием посетителей он возложил на всех сотрудников, а не только на тех, кто работал в приемной, причем на свой личный контроль брал наиболее важные жалобы, в которых сообщалось о грубых нарушениях законности.
Но в марте 1934 года И. А. Акулов издал неожиданный приказ "О перестройке аппарата прокуратуры в центре и на местах". Видимо, если бы он был более сведущим в прокурорской деятельности, он не стал бы так резко разрушать уже сложившуюся и хорошо зарекомендовавшую себя структуру, построенную по функциональному принципу. Теперь же отделы перестраивались по производственному и территориально-производственному принципу, что, по мнению руководства Прокуратуры Союза ССР, должно было обеспечить "высокое качество работы по охране общественной (социалистической) собственности и осуществлению социалистической законности" во всех сферах народного хозяйства и государственного аппарата, усилить единоначалие и личную ответственность каждого прокурора за порученную работу.
Для того чтобы сосредоточить "основное внимание органов прокуратуры на судебно-следственной деятельности", решено было ликвидировать разделение на общий и судебный надзор, а также упразднить бюро жалоб. Предполагалось, что каждый отдел будет решать весь комплекс задач, стоящих перед органами прокуратуры, начиная с разрешения жалоб и заканчивая надзором за рассмотрением судебных дел. Поэтому вместо отделов были образованы сектора по делам промышленности, сельского хозяйства, торговли, кооперации, финансов и прочего.
Сохранялись Главная военная прокуратура, Главная транспортная прокуратура (с выделением из нее водной), прокуратура по спецделам, сектор надзора за местами лишения свободы и управление делами.
Как и следовало ожидать, новая структура прокуратуры оказалась неудачной. Искусственное разделение по производственному принципу желаемых результатов не дало, и менее чем через три года (при Прокуроре Союза ССР А. Я. Вышинском) органы прокуратуры вновь перешли на работу по функциональному принципу, который, немного видоизменившись, сохранился и по сей день.
Неоценимую роль в деле дальнейшей централизации органов прокуратуры сыграло 1-е Всесоюзное совещание судебных и прокурорских работников, открывшееся 23 апреля 1934 года. Доклад "Решения XVII партсъезда и задачи органов юстиции" сделал Прокурор Союза ССР И. А. Акулов. В этом полуторачасовом выступлении он остановился на всех актуальных вопросах практической деятельности прокуроров, судей и народных следователей, проанализировал задачи, стоящие перед органами юстиции на современном этапе, обратив особое внимание участников совещания на целый ряд "недочетов и извращений" и предложив конкретные меры по их устранению. Как писала тогда пресса, "докладчик говорил просто, без малейшей погони за вычурной красной фразой".