Он активно участвовал в подготовке международного военного трибунала, которому Сталин придавал огромное значение. Так, в 1945 году Вышинский встречался со Сталиным 60 раз, столько же, как и начальник Генштаба Антонов, а Жуков в 1945 году встречался с Верховным главнокомандующим только 11 раз.
Тем не менее, невзирая на давние близкие отношения с Вышинским, Сталин не изменил своего решения. Вышинский был назначен только «курировать и поддерживать» работу советской делегации в Нюрнберге. Для Руденко это исключало «право на ошибку» — было ясно, что такой ревностный куратор не простит ему ни малейшей оплошности.
Руденко понимал, насколько важную и ответственную роль ему предстояло выполнить в Нюрнберге. Значение этого процесса неоднократно подчеркивал Сталин. 10 июля 1944 года американский генерал Эйзенхауэр предложил расстреливать представителей вражеского руководства «при попытке к бегству». Высказывались также предложения полностью уничтожить несколько тысяч офицеров немецкого Генштаба, весь личный состав СС и руководителей отделений нацистской партии.
Президент США Рузвельт фактически их поддерживал. 19 августа 1944 года он произнес: «Мы должны быть по-настоящему жесткими с Германией, и я имею в виду весь германский народ, а не только нацистов. Немцев нужно либо кастрировать, либо обращаться с ними таким образом, чтобы они забыли и думать о возможности появления среди них людей, которые хотели бы вернуть старые времена и снова продолжить то, что они вытворяли в прошлом».
Примеры «ускоренного народного правосудия» уже были. Бойцы французского движения Сопротивления казнили без суда 8348 фашистов и их пособников, а итальянские партизаны — Муссолини и его любовницу…
Гораздо дальновиднее западных политиков оказался Сталин, который ещё в начале войны выступал за юридическую процедуру наказания военных преступников. В октябре 1944 года Черчилль пытался навязать ему свое мнение: «Мы должны сделать так, чтобы даже нашим внукам не довелось увидеть, как поверженная Германия поднимается с колен!»
На это Сталин возразил: «Что бы ни произошло, на это должно быть… соответствующее судебное решение. Иначе люди скажут, что Черчилль, Рузвельт и Сталин просто отомстили своим политическим врагам! Слишком жесткие меры возбудят жажду мести».
Руденко понимал, что это был первый в истории случай, когда перед судом предстали преступники, завладевшие целым государством и сделавшие государство орудием своих чудовищных преступлений, которые не ограничились пределами одного государства и привели к неслыханным по своей тяжести последствиям.
Нюрнбергский процесс начался 20 ноября 1945 года в отсутствие Главного обвинителя от СССР. Руденко, руководитель советской делегации Горшенин и председатель комиссии Вышинский, вылетевшие из Москвы, опоздали, так как самолет из-за плохой погоды приземлился в Праге и они добираться до Нюрнберга на машине.
Вышинский нервничал, так как периодически «вылезали» неприятные для советской стороны вопросы и подвергался сомнению тезис о «внезапности» нападения Германии на СССР, на чем настаивала советская сторона. Он считал, что у Руденко нет плана проведения процесса и он якобы не готов к процессу… Но это не повлияло на положение Руденко как Главного обвинителя от Советского Союза.
Руденко лично докладывал Сталину о ходе процесса. На вопрос Сталина о недостатках в подготовке процесса, откровенно сказал, что недостатков много и материалы распылены, что связано с отсутствием содействия или торможением со стороны НКВД, НКГБ и СМЕРШа. Сталин был возмущен и принял меры, чтобы исправить положение.
Позже еще один случай значительно укрепил профессиональную репутацию Руденко в глазах Сталина. Вступительная речь Главного обвинителя на Нюрнбергском процессе готовилась заранее. Руденко подготовил проект и передал его Вышинскому. Тот раскритиковал представленный вариант, внес свои правки и передал его на рассмотрение Сталину. Сталин остался недоволен полученным текстом и начал вносить правки, созвучны тому, что написал Руденко.
Когда помощник положил на стол Сталину первоначальную версию выступления, подготовленную Руденко, которую представили «доброжелатели», решившие «уколоть» Вышинского, вождь указал тому, что есть хороший проект документа и не надо вмешиваться в работу человека, который правильно и грамотно делает свое дело. Это не добавило симпатий к Руденко со стороны Вышинского, но он больше не управлял его действиями, а выступал скорее как многоопытный консультант.
Вступительную речь Руденко произнес 8 февраля 1946 года:
«Господа судьи! Я приступаю к своей вступительной речи, завершающей первые выступления главных обвинителей на данном процессе, с полным сознанием его величайшего исторического значения.
Впервые в истории человечества правосудие сталкивается с преступлениями такого масштаба, вызвавшими такие тяжелые последствия.
Впервые перед судом предстали преступники, завладевшие целым государством и самое государство сделавшие орудием своих чудовищных преступлений.