На одном из допросов нарком внутренних дел Ежов рассказал, что идею о непригодности гуманного отношения к «врагам народа», отказывавшимся говорить «правду», подал Сталину именно Вышинский во время расследования дела Тухачевского. Сталин на это якобы сказал: «Ну, вы смотрите сами, а Тухачевского надо заставить говорить все и раскрыть свои связи. Не может быть, чтобы он действовал у нас один…» Физическое воздействие на подследственных Ежов называл «санкциями». По его словам, Вышинский заверил, что органы прокуратуры не будут принимать во внимание заявления арестованных о побоях и истязаниях. Как показал Ежов, Вышинскому же принадлежит одобренная Сталиным идея создания так называемых троек, внесудебных органов с широкими полномочиями в составе начальника областного управления НКВД, прокурора области и секретаря обкома партии.
Если первое время с юридическими новациями Вышинского полемизировали, в частности, нарком юстиции Крыленко и выдающийся ученый-юрист, директор Института права Академии наук СССР Пашуканис, то после физического устранения Крыленко, Пашуканиса и других ученых-«спорщиков» в теоретическую схватку с Андреем Януарьевичем уже никто не вступал.
Советские газеты печатали речи прокурора на первых полосах: «Пройдет время. Могилы ненавистных изменников зарастут бурьяном и чертополохом, покрытые вечным презрением честных советских людей, всего советского народа. А над нами, над нашей счастливой страной, по-прежнему ясно и радостно будет сверкать своими светлыми лучами наше солнце. Мы, наш народ, будем по-прежнему шагать по очищенной от последней нечисти и мерзости прошлого дороге, во главе с нашим любимым вождем и учителем – великим Сталиным – вперед и вперед, к коммунизму!» Подобный пафос прикрывал откровенную топорность и нелепость предъявляемых обвинений. Бухарина, например, обвиняли в том, что он начал свою шпионскую деятельность против советского строя… в 1912 году, когда строя еще не существовало вовсе. Но абсурд абсолютно никого не смущал, даже некоторые иностранные журналисты писали, что обвинения скорее всего совершенно правдивы. В кинотеатрах шел документальный фильм «Приговор суда – приговор народа», снятый в марте 1938 года на процессе Бухарина и Рыкова. И с киноэкрана Вышинский, распаляясь, кричал: «Изменников и шпионов расстрелять, как поганых псов! Раздавить проклятую гадину!», призывал уничтожить «вонючую падаль» и «бешеных собак».
Практически все, знавшие его, вспоминали редкостную грубость этого человека. Этим он отличался еще в 1920-х годах – и когда работал ректором МГУ, и в Наркомпросе. Всех поражало наслаждение, с которым он унижал подчиненных, коллег, заслуженных, уважаемых профессоров.
Бывший Главный военный прокурор СССР Н. П. Афанасьев (при Вышинском он занимал должность прокурора Орловского военного округа) рассказывал: «Так каков же был Вышинский? Внешне строгий, требовательный – в общем, человек, чувствующий свой «вес», явно показывающий, что близок к «верхам», и сам являющийся одним из тех, кто на самом верху вершит дела. Таким Вышинский был перед подчиненными. А на самом деле Вышинский был человек с мелкой душонкой – трус, карьерист и подхалим. Так что вся «значимость» Вышинского – позерство и трюки провинциального актера, до смерти боящегося за свою карьеру, а главное, конечно, за свою меньшевистскую шкуру».
Прокурор ревностно исполнял свои обязанности, стараясь преданным служением «отцу народов» загладить свое меньшевистское прошлое и боясь, что ему припомнят не только «грехи молодости», но и деяния настоящего. Ведь он знал очень многое. Не мог Вышинский не помнить и того, какая судьба постигла Николая Васильевича Крыленко, которого он сменил в 1931 году на должности Прокурора РСФСР.
Однако Вышинский, как ни странно, репрессирован не был. Хотя периодически и над ним сгущались тучи. Вспомнить хотя бы Шейнина, когда последнему предлагали дать показания против Вышинского. Незаметно оставив свой пост, в 1940 году он уходит «в дипломатию» и становится заместителем наркома иностранных дел. С первых дней работы в Наркоминделе он занимался отношениями СССР со странами формировавшейся антигитлеровской коалиции, прежде всего с Великобританией. В октябре 1943 года в Москве состоялась конференция министров иностранных дел СССР, США и Великобритании, которая рассматривала вопросы сокращения сроков войны против гитлеровской Германии и открытия второго фронта. Для участия в работе Европейской консультативной комиссии Вышинский выехал в Алжир. Это был его первый выезд за границу, где он получил первый опыт многосторонней дипломатии.
В феврале 1945 года Андрей Януарьевич Вышинский – член советской делегации на Ялтинской конференции руководителей трех союзных держав.