Его жизнь резко изменилась, когда 20 июня 1933 года постановлением ЦИК и СНК СССР, подписанным М. И. Калининым, В. М. Молотовым (Скрябиным) и секретарем ЦИК А. Медведевым, была учреждена Прокуратура Союза ССР. Она создавалась «в целях укрепления социалистической законности и должной охраны общественной собственности по Союзу ССР от покушений со стороны противообщественных элементов». На следующий же день первым Прокурором Союза ССР был назначен Иван Алексеевич Акулов, а его заместителем – А. Я. Вышинский.
Будущий прокурор узнал о новом назначении совершенно неожиданно – он отдыхал с семьей в санатории «Мухалатка» в Крыму, туда и пришла правительственная телеграмма, подписанная Сталиным, Калининым и Молотовым.
17 декабря 1933 года ЦИК и СНК СССР приняли исключительно важный законодательный акт – «Положение о Прокуратуре Союза ССР», над которым Акулов работал лично. Этим же постановлением была упразднена Прокуратура Верховного суда СССР. Свою первоначальную функцию она выполнила, и теперь требовался другой орган, более мобильный и оперативный, способный сцементировать всю прокурорскую систему. Положение устанавливало, что Прокурор Союза ССР назначается ЦИК СССР, а его заместитель утверждается Президиумом ЦИК СССР. Прокурор Союза ССР отвечал только перед Совнаркомом СССР, ЦИК СССР и его Президиумом.
Отличительной чертой Акулова, проявившейся на этом посту, была удивительная простота в общении как со своими подчиненными, так и с многочисленными посетителями. Укреплению связей работников прокуратуры с населением он уделял особое внимание. С первых же дней в Прокуратуре Союза ССР был налажен четкий порядок приема граждан и рассмотрения их жалоб и заявлений. Обязанность вести прием посетителей он возложил на всех сотрудников, а не только на тех, кто работал в приемной, причем на свой личный контроль брал наиболее важные жалобы, в которых сообщалось о грубых нарушениях законности.
Но в марте 1934 года И. А. Акулов издал неожиданный приказ «О перестройке аппарата прокуратуры в центре и на местах». Видимо, если бы он был более сведущим в прокурорской деятельности, он не стал бы так резко разрушать уже сложившуюся и хорошо зарекомендовавшую себя структуру, построенную по функциональному принципу. Теперь же отделы перестраивались по производственному и территориально-производственному принципу, что, по мнению руководства Прокуратуры Союза ССР, должно было обеспечить «высокое качество работы по охране общественной (социалистической) собственности и осуществлению социалистической законности» во всех сферах народного хозяйства и государственного аппарата, усилить единоначалие и личную ответственность каждого прокурора за порученную работу.
Для того чтобы сосредоточить «основное внимание органов прокуратуры на судебно-следственной деятельности», решено было ликвидировать разделение на общий и судебный надзор, а также упразднить бюро жалоб. Предполагалось, что каждый отдел будет решать весь комплекс задач, стоящих перед органами прокуратуры, начиная с разрешения жалоб и заканчивая надзором за рассмотрением судебных дел. Поэтому вместо отделов были образованы сектора по делам промышленности, сельского хозяйства, торговли, кооперации, финансов и прочего.
Сохранялись Главная военная прокуратура, Главная транспортная прокуратура (с выделением из нее водной), прокуратура по спецделам, сектор надзора за местами лишения свободы и управление делами.
Как и следовало ожидать, новая структура прокуратуры оказалась неудачной. Искусственное разделение по производственному принципу желаемых результатов не дало, и менее чем через три года (при Прокуроре Союза ССР А. Я. Вышинском) органы прокуратуры вновь перешли на работу по функциональному принципу, который, немного видоизменившись, сохранился и по сей день.
Неоценимую роль в деле дальнейшей централизации органов прокуратуры сыграло 1-е Всесоюзное совещание судебных и прокурорских работников, открывшееся 23 апреля 1934 года.
Доклад «Решения XVII партсъезда и задачи органов юстиции» сделал Прокурор Союза ССР И. А. Акулов. В этом полуторачасовом выступлении он остановился на всех актуальных вопросах практической деятельности прокуроров, судей и народных следователей, проанализировал задачи, стоящие перед органами юстиции на современном этапе, обратив особое внимание участников совещания на целый ряд «недочетов и извращений» и предложив конкретные меры по их устранению. Как писала тогда пресса, «докладчик говорил просто, без малейшей погони за вычурной красной фразой».
В руководстве работой прокуратуры на местах И. А. Акулов проявлял большую оперативность и требовал того же от своих подчиненных. Он был рьяным противником «бумажного руководства», очень быстро подмечал самые слабые звенья в работе, на которые всегда остро реагировал. Чтобы наиболее важные решения вырабатывались коллективно, Акулов организовал в прокуратуре так называемое оперативное совещание, прообраз будущей коллегии, порядок работы которого определялся специальным приказом.