В эти годы начинается эра репрессий и политических процессов. Для одних это была трагедия, а для других — удобная возможность отличиться, выслужиться или избавиться от личных врагов, получив от этого не только моральное, но и материальное удовлетворение. Здесь-то в полной мере и проявились дарования Вышинского. В дальнейшем на всех важнейших процессах 1930-х годов Вышинский, будучи уже руководителем прокуратуры, выступал в роли государственного обвинителя. Красноречие его не знало границ. Вышинский торжествовал свою победу еще до начала сражения, потому что знал, что все процессы — спектакли, в которых все, в том числе и обвиняемые, послушно исполняют предназначенные им роли. Знал это Вышинский и потому, что сам был одним из режиссеров-постановщиков этих спектаклей.
Когда в 1931 году Вышинский был назначен Прокурором РСФСР, сменив на этом посту Крыленко, о нем заговорили как о новой восходящей звезде на юридическом небосклоне. Ни одно важное событие в правовой жизни страны, будь то совещания, активы, громкие судебные процессы, особенно по политическим делам, не обходилось без участия Андрея Януарьевича. К этому надо добавить его многочисленные выступления в печати, издание книг и брошюр по правовой тематике, лекции и доклады на разнообразных конференциях и симпозиумах. Он чутко реагировал на все выступления Сталина, тщательно штудировал статьи вождя и тут же пытался использовать идеи вождя в своей практической деятельности.
Даже если дело касалось не политики, а культуры, он призывал громить и уничтожать: «Органы юстиции обязаны со всей беспощадностью обрушивать свои удары на головы оказывающих делу культурного строительства сопротивление, пытающихся дезорганизовать ряды борцов культурного фронта».
20 июня 1933 года ЦИК и СНК СССР приняли постановление «Об учреждении Прокуратуры Союза ССР». Первым Прокурором СССР был назначен известный государственный и политический деятель Иван Алексеевич Акулов, который не был юристом и не имел высшего образования. А.Я. Вышинский стал его заместителем.
Одним из первых громких дел, в расследовании которого принял участие Вышинский уже в новом качестве, было дело об убийстве Кирова. Сталин заявил, что «убийство Кирова — дело рук организации». Через несколько дней он добавил: «Ищите убийцу среди зиновьевцев». Эта установка стала для Вышинского определяющей. Он лично допрашивал арестованных, допросы больше походили на оформление предварительно выбитых показаний.
Убийство Кирова развязало руки властям для организации массовых репрессий по всей стране. Для того чтобы их проводить, по поручению Сталина срочно изменили процессуальный закон. Вышинский составил обвинительное заключение. Он же два-три раза ездил с Акуловым в ЦК к Сталину, и тот лично редактировал обвинительное заключение. Вышинский восторженно рассказывал, как тщательно и чисто стилистически редактировал Сталин этот документ. 26 декабря Сталин вызвал к себе Ульриха и Вышинского и дал указание провести процесс в два дня и приговорить всех обвиняемых к расстрелу. Тут же был составлен приговор по делу. Все подсудимые были приговорены к расстрелу. Через час приговор был приведен в исполнение.
3 марта 1935 года ЦИК СССР назначил Вышинского Прокурором СССР. Освобожденный же от этой должности Акулов был переведен секретарем ЦИК СССР, а спустя два года арестован и после скоротечного суда расстрелян.
Вышинский услужливо, с готовностью выполнял роль главного инквизитора вождя — она ему нравилась, он упивался ею. Он завладел всеми ключевыми позициями юридической науки и практики, его боялись.
Среди многих научных трудов академика Вышинского особенно высоко в те времена ценилась монография «Теория судебных доказательств в советском праве». Именно в ней приводился один из главных постулатов древних, который активно эксплуатировался репрессивной машиной: «Признание обвиняемого — царица доказательств». Особыми директивами НКВД разрешалось добывать это признание с помощью «специальных методов дознания», то есть с помощью пыток. Немногие вышедшие из застенков ГУЛАГа живыми и в своем уме рассказывали об этих «специальных методах» такое, что волосы становились дыбом. Многие из этих методов удивительно напоминают способы дознания святой инквизиции во времена мрачного Средневековья.
На одном из допросов арестованный нарком внутренних дел СССР Ежов, лично принимавший участие в пытках арестованных, рассказал, что идею о непригодности гуманного отношения к «врагам народа», отказывавшимся говорить «правду», подал Сталину именно Вышинский во время расследования дела Тухачевского. Сталин на это якобы сказал: «Ну, вы смотрите сами, а Тухачевского надо заставить говорить все и раскрыть свои связи. Не может быть, чтобы он действовал у нас один…»