Вскоре Роману Андреевичу пришлось заняться и другими одиозными материалами. Именно ему поручили провести следствие по делу В. С. Абакумова, бывшего министра госбезопасности СССР, инициатора так называемого Ленинградского дела. Подход к нему также трудно назвать абсолютно правовым. На заседании Президиума ЦК КПСС 15 сентября 1954 года фактически было предопределено решение, утверждена судебная коллегия. На суде, начавшемся 14 декабря 1954 года, Абакумов виновным себя не признал, утверждая, что дело его сфабриковано Берией, Кобуловым и Рюминым. Тем не менее Абакумов и некоторые его соучастники были приговорены к расстрелу. Приговор был приведен в исполнение незамедлительно, Абакумову даже не дали возможности его обжаловать.
В 1955–1956 годах Руденко участвовал и в процессах над бывшими грузинскими «друзьями» Берии – Рапавой, Рухадзе, Церетели, Савицким, Кримяном, Надарил, Хазаном и Парамоновым, а также «соратником» Берии – бывшим первым секретарем ЦК Компартии Азербайджана и председателем Совета министров республики Багировым. Вместе с Багировым на скамье подсудимых оказались еще пятеро руководителей органов внутренних дел Дагестана, Армении и Азербайджана.
Однако времена менялись, и чуткий к новым веяниям Роман Андреевич начал постепенно расчищать «авгиевы конюшни» – в них фактически превратились не только органы правопорядка, но и сама законность в стране. Именно Руденко осуществил мероприятия по восстановлению в правах прокурорского надзора после долгих лет диктатуры и произвола. И не просто восстановлению, а созданию гарантии «социалистической законности», соответствующей духу перемен.
Он всегда подчеркивал обязательность советских законов для всех, недопустимость противопоставления законности и целесообразности, неразрывную связь законности с культурностью.
Эти идеи можно было провести в жизнь только в пределах, дозволенных руководством страны, но и в этой ситуации перемены к лучшему были хорошо заметны. Например, в центральном аппарате появилась стабильность кадров, исчезла чехарда, так мешающая работе.
Прокуроры, ранее безликие и совершенно бесправные, делались наиболее активными проводниками «социалистической законности».
Слово «закон» стало наконец употребляться в связке с такими понятиями, как «справедливость», «порядочность», «честность». Началось постепенное, пока еще медленное и нерешительное исправление недостатков и преступлений сталинского времени.
Одной из причин произвола при расследовании преступлений, пусть не главной, был низкий уровень следственной работы, недостаточная квалификация следователей. Приказ Руденко «О мероприятиях по повышению квалификации следователей органов Прокуратуры» от 14 октября 1953 года был одной из его первых директив. По всей стране началась учеба кадров, улучшалось техническое оснащение следствия.
После июльского (1953 года) Пленума ЦК КПСС в стране повеяло «оттепелью» и какой-то, пусть урезанной, ограниченной определенными рамками, но все же свободой. Всесильные органы внутренних дел и государственной безопасности теперь были поставлены в рамки закона и играли в жизни общества уже не ту роль, что прежде. Восстанавливались в правах суды и прокурорский надзор. Внесудебные расправы ликвидировались.
Вскоре после назначения Генеральным прокурором Р. А. Руденко подписал первые документы, касающиеся реабилитации лиц, невинно привлеченных к уголовной ответственности. Раньше других справедливость была восстановлена в отношении высшего командного состава Красной армии. 19 марта 1954 года Руденко, министр внутренних дел Круглов, председатель КГБ Серов и министр юстиции Горшенин направили в президиум ЦК записку с предложением образовать Центральную комиссию по пересмотру дел осужденных за «контрреволюционные преступления», содержащихся в лагерях, колониях, тюрьмах (467 946 человек) и находящихся в ссылке на поселении (62 462 человека). Кроме Центральной предлагалось создать соответствующие комиссии в республиках, краях и областях. 4 мая 1954 года такие комиссии были образованы и вскоре приступили к работе.
Но первая кампания по пересмотру дел была довольно осторожной – примерно каждый второй из осужденных получал отказ в реабилитации. Так, поэтесса А. А. Ахматова обратилась к К. Е. Ворошилову с просьбой пересмотреть дело ее сына, Льва Николаевича Гумилёва, молодого ученого-востоковеда, вторично арестованного органами МГБ СССР в 1949 году и приговоренного Особым совещанием к десяти годам лишения свободы. На письме имеется резолюция Ворошилова: «Руденко Р. А. Прошу рассмотреть и помочь». Тем не менее в своей записке на имя Ворошилова Руденко сообщил, что Гумилёв занимался антисоветской деятельностью, осужден правильно и что Центральная комиссия по пересмотру дел 14 июня 1954 года приняла решение отказать Ахматовой в ее ходатайстве.