С сентября 1941-го Рюмин — следователь, старший следователь, заместитель начальника, начальник IV отделения Особого отдела НКВД — Отдела контрразведки Народного комиссариата обороны Архангельского военного округа.
28 декабря 1941 года ему присвоено специальное звание «младший лейтенант государственной безопасности», 11 февраля 1943 г. — «старший лейтенант государственной безопасности», 18 июня 1943 года — «капитан», 3 марта 1944 года — «майор». В 1943 году Рюмина приняли из кандидатов в члены партии.
В Особом отделе НКВД, а затем в Отделе контрразведки СМЕРШ Архангельского ВО работы хватало. Кроме всего прочего, в Архангельске в годы войны разместилась британская военно-морская миссия, а также была расквартирована 126-я база ВМС и группа ВВС. Например, на октябрь 1943 года британская военно-морская миссия в Архангельске состояла из 52 человек: 18 старших и средних офицеров, 34 младших офицера и рядовых. Аппарат английской 126-й портовой базы состоял из 49 человек: 10 старших и средних офицеров, 39 младших офицеров и рядовых. При этом в составе миссии было много офицеров, непременно владеющих русским языком. Вскоре контрразведчики установили, что присланные англичанами на работу в Архангельский порт «военспецы» в большинстве своем не соответствовали своему назначению, работы по «присвоенным» им специальностям не знают, а поэтому от участия в ремонте вооружения и от консультаций по тем или иным техническим вопросам стараются уклоняться. Словом, прибыли настоящие разведчики, которые занимались военной, экономической и политической разведкой, пропагандой антисоветской идеологии, созданием сети агентурных источников из числа советских граждан. Правда, вся агентурно-оперативная работа по англичанам и американцам была сосредоточена в контрразведывательном отделе УНКВД по Архангельской области. Особым же отделам Архангельского ВО и Беломорской военной флотилии было приказано передать в областное управление все разработки и агентуру по англичанам и американцам, не связанным с разработкой военнослужащих Красной Армии, и ВМФ и только по согласованию с КРО проводить мероприятия по связям советских военнослужащих с иностранцами. И в этом был определенный смысл: по данным контрразведки на 1 сентября 1943 года из 1000 советских граждан, чьи контакты с иностранцами были зафиксированы наружным наблюдением, 90 % составляли женщины.
Все же контрразведывательная работа СМЕРШ была и строилась она против английской разведки в основном по двум направлениям: выявление британских разведчиков, их связей и пресечение их деятельности на объектах армии и флота. При этом принимался во внимание тот факт, что по роду своей служебной деятельности и в быту англичане имели широкое общение с военнослужащими и гражданским населением. Все точки соприкосновения англичан с нашими гражданами учитывались в оперативной работе военных контрразведчиков.
Всего же за годы войны контрразведчики выявили на советском Севере 100 кадровых сотрудников союзнических спецслужб, но только 6 из них были выдворены из страны.
Однако, несмотря на такое широкое поле деятельности, офицер СМЕРШ Рюмин осваивал прежде всего искусство фальсификации дел.
«В конце концов его, на свою беду, заметил главный армейский контрразведчик Абакумов, весьма нуждавшийся в профессиональных выбивателях показаний, — подчеркивает Н. Петров. — Ведь не все же самому избивать подследственных. Надо и смену растить.
В Архангельске Рюмин вел следствие по делу арестованного в декабре 1944-го фотокорреспондента газеты "Патриот Родины" И.П. Ермолина, поводом для ареста которого была лишь сводка наружного наблюдения, что он посетил английскую военно-морскую миссию. Абакумов заинтересовался делом. Как показал позднее на допросе Рюмин: "Когда я прибыл с делом Ермолина в Москву, в Главное управление контрразведки был доставлен и сам арестованный. На первом же допросе у Абакумова Ермолин заявил, что дал вымышленные показания в результате избиений. Абакумов вызвал меня, и я рассказал ему, как было сфальсифицировано дело Ермолина. Абакумову, видимо, понравилась моя откровенность, потому что, когда на его вопрос: "Сильно ли били Ермолина?" — я ответил: "Били, сколько было сил", он усмехнулся и сказал, чтобы я явился к начальнику следственного отдела Главного управления контрразведки Леонову, который объявил мне, что я остаюсь в центральном аппарате на правах прикомандированного".
Так Рюмин стал старшим следователем СМЕРШ уже непосредственно под крылом у Абакумова».
Стоит отметить и один маленький штрих к биографии этого «офицера». 31 июля 1944 года его наградят орденом «Отечественной войны» II степени — «За образцовое выполнение особых заданий Верховного главного командования Красной Армии», а 13 сентября 1945-го орденом Красной Звезды с той же самой формулировкой. Думаю, нетрудно догадаться, что стояло за этими красивыми словами…