Родился в г. Наровчат Пензенской губернии в семье учителя городского училища. В 1914 г. окончил духовное училище, затем учился в духовной семинарии до 1916 г. Военное образование: Курсы высшего комсостава при Военной академии РККА им. М. В. Фрунзе (сентябрь 1926 г. — июль 1927 г.).
В 1916 г. — вольноопределяющийся, унтер-офицер 13-го конного полка, Приморского драгунского полка. Дезертировал в августе 1916 г. За участие в организованном анархистами, с которыми был связан, убийстве бригадного генерала Бема подвергся преследованиям. Служил бухгалтером в военном госпитале в Москве. Участник июльских революционных событий в Москве (1917 г.). В Октябрьскую революцию командовал группой красногвардейцев Хамовнического района, при штурме Кремля был ранен, находился на лечении в Лефортовском госпитале (с октября 1917 г. по февраль 1918 г.). Затем командовал эскадроном Пролетарского полка (Восточный фронт). В мае 1918 г. вступил в РКП(б).
С августа 1919 г. — в органах ВЧК — ОГПУ — НКВД. Работал в МЧК, Белгородской УЧК, Киевской ГЧК (1919–1920 гг.), был начальником активной части особого отдела Юго-Западного фронта (1920 г.), помощником начальника особого отдела 1-й Конной армии (ноябрь 1920 г. — 1921 г.), заместителем начальника Особого отдела ЦУПЧРЕЗКОМа, секретно-оперативной части ВУЧК (1921–1922 гг.).
В дальнейшем работал в органах ГПУ Украины, был секретарем ПП ОГПУ по Юго-Востоку, старшим инспектором инспекции войск ОГПУ Северо-Кавказского края (ноябрь — декабрь 1923 г.) и на других должностях в органах ОГПУ Северного Кавказа. С июля 1927 г. — помощник начальника ОО МВО, затем (с апреля 1929 г.) — ст. инспектор войск ОГПУ Московского округа.
Одновременно, в период с 28.11.1928 г. по 01.09.1930 г., — командир-военком ОДОН им. Ф. Дзержинского. Он добивался «живого», а не «кабинетного» руководства подчиненными, показывал в этом пример. Когда было приказано сформировать сводный отряд для действий на территории Азербайджана в 1930 г., сам возглавил его.
В приказе по войскам ОГПУ № 350 от 16.10.1930 г., отмечая 2-летнюю работу
Будучи начальником Главного управления пограничной и внутренней охраны, одновременно (с 16.10.1936–15.04.1937) был заместителем наркома внутренних дел СССР; затем стал первым заместителем наркома (15.04.1937–08.09.1938). В то же время с 15.04.1937 г. по 28.03.1938 г. являлся начальником Главного управления государственной безопасности НКВД СССР. Возглавлял 1-е Управление НКВД СССР (28 марта — 8 сентября 1938 г.).
М. П. Фриновский. 20-е гг.
С 08.09.1938 г. по 06.04.1939 г. — нарком ВМФ СССР. Это неожиданное назначение чекиста, а не профессионального военного моряка, скорее всего, было вызвано недостаточной чисткой ВМФ. При назначении на этот пост ему было присвоено звание командарма 1-го ранга, минуя 2-й. Главной своей задачей он считал продолжение «чистки» ВМФ от лиц, причисленных к троцкистам и другим антисоветским элементам. Уже в дни работы XVIII съезда ВКП(б), почувствовав приближение конца карьеры Ежова, а следовательно и своей, Фриновский пишет на имя Сталина письмо, в котором сообщает о беззакониях в НКВД, фальсификации дел и других нарушениях законности.
24 марта 1939 г. состоялось заседание Главного военного совета ВМФ, на котором выступил член ГВС А. А. Жданов (куратор ВМФ), после чего было решено освободить М. П. Фриновского от занимаемой должности. 10 апреля он был арестован, обвинен в том, что вместе с Ежовым возглавил антисоветский заговор в НКВД.