Родился Миша Рюмин в 1913 году в селе Кабаньем Шадринского уезда Пермской губернии в семье крестьянина-середняка. Окончил восемь классов школы. С мая 1929 года работал сначала счетоводом, а потом бухгалтером сельскохозяйственной артели «Ударник» в Уральской области. С апреля по июнь 1930 года — слушатель Шадринских бухгалтерских курсов районного Союза потребительских обществ. С февраля 1931 года — бухгалтер-инструктор Кабаниевского райколхоза, районного отделения связи. После окончания Шадринских курсов связи (обучался с июня по сентябрь 1931 г.) — бухгалтер, старший бухгалтер, бухгалтер-инструктор Уральского областного управления связи (сентябрь 1931 г. — июнь 1933 г.).
Также в личном деле Рюмина зафиксирована учеба на комсомольском отделении Коммунистического университета имени В. И. Ленина в 1931–1932, 1934 годах (Свердловск).
С мая 1934 года по сентябрь 1935 года Рюмин уже главный бухгалтер Свердловского областного управления связи.
В сентябре 1935 года Михаила Дмитриевича призвали в армию. Но и там он не пропал: служил рядовым в штабе Уральского военного округа, затем там же — бухгалтером-экономистом. По окончании службы, в июле 1937 года, Рюмин вернулся к прежней работе — главного бухгалтера Свердловского областного управления связи.
Но очень скоро бывшего защитника Родины обвинили в неправильном расходовании денежных средств и в том, что он пользовался покровительством начальника облуправления связи, арестованного к тому времени как «враг народа». Как считает, не без юмора конечно, Н. Петров «Рюмин поступил толково. Он понял, как спастись. Тут же снялся с места и уехал в Москву. Здесь, после месяца поиска работы, он 13 сентября 1937-го устроился бухгалтером-ревизором» Финансового сектора Центрального управления речных путей Наркомвода СССР, а с сентября 1938-го и вплоть до начала войны работал главбухом и начальником планово-финансового отдела Управления канала Москва — Волга в Тушине. Здесь в 1939-м его приняли в кандидаты в члены ВКП(б).
После начала войны Рюмина, учитывая его «редкую специальность», в июле 1941 года направили на учебу в Высшую школу НКВД СССР.
С сентября 1941-го Рюмин — следователь, старший следователь, заместитель начальника, начальник IV отделения Особого отдела НКВД — Отдела контрразведки Народного комиссариата обороны Архангельского военного округа.
28 декабря 1941 года ему присвоено специальное звание «младший лейтенант государственной безопасности», 11 февраля 1943 г. — «старший лейтенант государственной безопасности», 18 июня 1943 года — «капитан», 3 марта 1944 года — «майор». В 1943 году Рюмина приняли из кандидатов в члены партии.
В Особом отделе НКВД, а затем в Отделе контрразведки СМЕРШ Архангельского ВО работы хватало. Кроме всего прочего, в Архангельске в годы войны разместилась британская военно-морская миссия, а также была расквартирована 126-я база ВМС и группа ВВС. Например, на октябрь 1943 года британская военно-морская миссия в Архангельске состояла из 52 человек: 18 старших и средних офицеров, 34 младших офицера и рядовых. Аппарат английской 126-й портовой базы состоял из 49 человек: 10 старших и средних офицеров, 39 младших офицеров и рядовых. При этом в составе миссии было много офицеров, непременно владеющих русским языком. Вскоре контрразведчики установили, что присланные англичанами на работу в Архангельский порт «военспецы» в большинстве своем не соответствовали своему назначению, работы по «присвоенным» им специальностям не знают, а поэтому от участия в ремонте вооружения и от консультаций по тем или иным техническим вопросам стараются уклоняться. Словом, прибыли настоящие разведчики, которые занимались военной, экономической и политической разведкой, пропагандой антисоветской идеологии, созданием сети агентурных источников из числа советских граждан. Правда, вся агентурно-оперативная работа по англичанам и американцам была сосредоточена в контрразведывательном отделе УНКВД по Архангельской области. Особым же отделам Архангельского ВО и Беломорской военной флотилии было приказано передать в областное управление все разработки и агентуру по англичанам и американцам, не связанным с разработкой военнослужащих Красной Армии, и ВМФ и только по согласованию с КРО проводить мероприятия по связям советских военнослужащих с иностранцами. И в этом был определенный смысл: по данным контрразведки на 1 сентября 1943 года из 1000 советских граждан, чьи контакты с иностранцами были зафиксированы наружным наблюдением, 90 % составляли женщины.
Все же контрразведывательная работа СМЕРШ была и строилась она против английской разведки в основном по двум направлениям: выявление британских разведчиков, их связей и пресечение их деятельности на объектах армии и флота. При этом принимался во внимание тот факт, что по роду своей служебной деятельности и в быту англичане имели широкое общение с военнослужащими и гражданским населением. Все точки соприкосновения англичан с нашими гражданами учитывались в оперативной работе военных контрразведчиков.