Что же до "революционного правосознания", то «законнику» Вышинскому оно глубоко чуждо. Впоследствии он открытым текстом говорил, что в его работе "сильно мешают пережитки революции" — то есть как раз стремление решать дела "по революционной совести".
В 1920 году он делает, наконец, и политический выбор — вступает в партию большевиков. И в то же время возвращается в юриспруденцию, пока что в качестве адвоката — одновременно с работой в Наркомпроде состоит в коллегии защитников. Но адвокатура — не его стезя. Уже в 1923 году он начинает выступать в судах в качестве общественного обвинителя и вскоре становится прокурором уголовно-судебной коллегии Верховного суда РСФСР.
Надежных профессионалов с высшим образованием в то время во всех областях жизни было немного. В 1925 году ученый совет Московского университета избирает Вышинского ректором, что заставляет несколько по-иному посмотреть на всю его биографию. Человеку с двухлетним стажем работы по специальности таких предложений не делают — даже в то безумное время… именно в то безумное время, поскольку тогда ученые еще не были приучены, что начальство назначает обком, это все придет позже. Объяснение этому может быть только одно — Вышинский занимался научной работой постоянно. И когда служил помощником адвоката, и в первые годы Советской власти (кстати, еще до работы в прокуратуре он некоторое время был деканом экономического факультета института народного хозяйства), был действительно крупным ученым, и научная общественность знала его не по чинам, а по научным работам.
Но расставание с практической юриспруденцией было непродолжительным. Уже в мае 1928 года он возвращается в органы юстиции. Ведет в качестве председателя специального судебного присутствия процесс по "Шахтинскому делу", затем председательствует на процессе «Промпартии». Оба дела — сложнейшие, здесь надо разбираться не только в юриспруденции, но и в экономике, и в производстве. Версия о том, что эти дела фальсифицированы, запущена опять же в наши дни, а на самом деле считать так нет особых оснований.
11 мая 1931 года Вышинский становится Прокурором РСФСР, а через десять дней — и заместителем наркома юстиции. С тех пор он львиную долю сил и энергии посвящает обузданию безграничного произвола в судах, прокуратуре, органах внутренних дел. Что интересно, он, один из лучших ораторов своего времени, не оставляет судебную трибуну, выбирая для себя иногда дела громкие и значимые, а иногда маловажные, но чем-либо интересные и поучительные. Работоспособность этого человека просто феноменальна: он успевает руководить прокуратурой, выступать в судах (а за каждым выступлением стоит огромный труд по знакомству с делом и его осмыслению), писать книги и статьи… И, несмотря на такой объем работы, его никто и никогда не обвинил в халтурном отношении к делу.
20 июня 1933 года была учреждена Прокуратура Союза. Первым Прокурором СССР стал известный революционер и политический деятель И.А. Акулов, а его заместителем — Вышинский. Не совсем понятен смысл назначения Акулова — он не только не был юристом, но даже не имел высшего образования. Так что вся практическая работа все равно легла на плечи Вышинского. Фактически он с самого начала исполнял обязанности союзного прокурора. 3 марта 1935 года он и официально стал Прокурором СССР. По сути, это назначение было одной из сталинских мер по превращению СССР в правовое государство. И уже 17 июня появляется Постановление Совнаркома и ЦК, где говорится: "Во изменение инструкции от 8-го мая 1933 г., аресты по всем без исключения делам органы НКВД могут производить лишь с согласия соответствующего прокурора".
С этого дня прокурорский надзор над работой НКВД присутствует постоянно.