В мае 1928 года Вышинский назначается председателем Специального присутствия Верховного суда СССР по делу группы "вредителей" в угольной промышленности, известному как "шахтинское дело". Суду были преданы пятьдесят три специалиста старой буржуазной школы, которые, по версии следствия, были тесно связаны с бывшими собственниками предприятий и ставили своей целью "сорвать рост социалистической промышленности и облегчить восстановление капитализма в СССР". Двадцать подсудимых признали себя виновными полностью, десять — частично, а остальные категорически отрицали какую-либо причастность к вредительству. Дело было настолько шито белыми нитками, что даже Вышинскому пришлось оправдать четверых подсудимых, а еще троих приговорить к условной мере наказания. Одиннадцать человек предлагалось расстрелять, но в отношении шестерых из них суд ходатайствовал о смягчении наказания. Оставшихся пятерых все-таки приговорили к расстрелу.
Председательствовал Вышинский и на процессе в начале декабря 1930 года над "вредителями" из так называемой Промышленной партии. На скамье подсудимых оказались директор Теплотехнического института профессор Рамзин, а также ряд ответственных работников Госплана и ВСНХ СССР (всего восемь человек). Все подсудимые признали себя виновными и дали развернутые показания о своей "контрреволюционной деятельности". 7 декабря 1930 года Вышинский огласил приговор. Все подсудимые были признаны виновными, а пятерых суд приговорил к смертной казни, которую на следующий день Президиум ЦИК СССР… заменил лишением свободы.
11 мая 1931 года Вышинский был назначен Прокурором РСФСР, сменив на этом посту Н. В. Крыленко, ставшего народным комиссаром юстиции республики. Об Андрее Януарьевиче заговорили как о новой восходящей звезде на юридическом небосклоне. Ни одно важное событие в правовой жизни страны, будь то совещания, активы, громкие судебные процессы, особенно по политическим делам, не обходилось без его участия. К этому надо добавить его многочисленные выступления в печати, издание книг и брошюр по правовой тематике, лекции и доклады на разнообразных конференциях и симпозиумах. Он чутко реагировал на все выступления Сталина, тщательно штудировал его статьи и тут же пытался использовать идеи вождя в своей практической деятельности.
15 декабря 1931 года на открытом собрании ячейки ВКП(б) Наркомата юстиции РСФСР Вышинский сделал большой доклад в связи с появлением в печати письма Сталина "О некоторых вопросах истории большевизма". Он, в частности, сказал: "Для того чтобы быть беспощадными к этим врагам (троцкистам. — Лет.), для того чтобы ошибочно не вступать с ними в дискуссию, мы должны уметь различать этих врагов, знать, где эти враги и в чем их враждебность против нашего дела может проявляться и проявляется". Вышинский, например, указывает на "врагов", засевших в Кассационной коллегии Верховного суда РСФСР, в Ленинградском институте советского права, в Московском юридическом институте (один из студентов имел неосторожность сказать о том, что "партия насильно загоняет крестьян в колхозы").
В третьем номере журнала "Советская юстиция" за 1932 год появилась статья Вышинского "Культурная революция и органы юстиции". В ней после традиционного восхваления Сталина он писал, что на повестку дня поставлен вопрос о проведении так называемой культурной революции: "Органы юстиции обязаны со всей беспощадностью обрушивать свои удары на головы оказывающих делу культурного строительства сопротивление, пытающихся дезорганизовать ряды борцов культурного фронта". Вышинский умело использует в статье вопиющие факты беззакония против лиц, несущих культуру в массы, и прежде всего учителей. Так, в Черновском районе учительнице, пришедшей в сельсовет за разъяснениями по поводу задержки зарплаты, вымазали лицо чернилами и поставили на лбу печать. В ряде мест задержка выплаты зарплаты учителям на два — четыре месяца стала хронической. В некоторых местах учителям отказывались выдавать промышленные товары, заявляя, что они предназначены только для "сдатчиков молока и яиц". В Средне-Волжском крае два представителя соваппарата угрозами принудили учительницу вступить с ними в половую связь.
5 февраля 1932 года Вышинский подписал циркуляр НКЮ "О привлечении к ответственности должностных лиц за необеспечение школ топливом". В нем органам прокурорского надзора предлагалось самым тщательным образом расследовать все случаи прекращения занятий в школах из-за отсутствия тепла, привлекая к судебной ответственности должностных лиц, в обязанности которых входило снабжение школ топливом.