Летом 1925 года М. И. Панкратьев по решению аттестационной комиссии получает отпуск для подготовки к поступлению в Военную академию, но по состоянию здоровья к приемным испытаниям его не допустили. В 1926 году Михаил Иванович, служивший тогда в городе Карачеве Брянской области, познакомился с девятнадцатилетней Ольгой Сергеевной Желоховцевой, учащейся педтехникума. Вскоре они поженились и уехали в Новозыбков, к новому месту службы Панкратьева. В 1927 году у молодых родилась дочь Галина, которую Михаил Иванович очень любил и всегда называл Алечкой.
Панкратьев служил военным комиссаром до сентября 1929 года. Он всегда искренне тянулся к знаниям – за годы службы много читал, серьезно увлекался юриспруденцией, даже сумел прослушать два курса юридического факультета Института красной профессуры. Так пришло решение стать юристом. В ноябре 1929 года двадцативосьмилетний Панкратьев получает назначение в органы военной прокуратуры и становится помощником военного прокурора Азербайджанской 2-й Кавказской стрелковой дивизии и Каспийского военного флота. Вскоре его прикомандировали к военной прокуратуре Кавказской краснознаменной армии и поручили исполнять нештатную должность прокурора Тбилисского гарнизона. В апреле 1933 года его назначают военным прокурором 4-й бригады железнодорожных войск на строительстве железной дороги Москва – Донбасс. В марте 1933 года его переводят на работу в центральный аппарат, где он служит сначала в должности военного прокурора отдела, а позднее – начальника отдела и помощника Главного военного прокурора.
В апреле 1937 года Панкратьев был избран заместителем секретаря партийного комитета Прокуратуры СССР. В характеристике отмечалось, что Панкратьев «принимал активное участие в работе прокуратуры по выкорчевыванию врагов народа и ликвидации последствий вредительства». Сам Михаил Иванович писал в автобиографии, что он «колебаний от линии партии не имел, взгляды разного рода оппозиции не разделял».
Первое время приходилось ютиться у родственников жены, но в 1937 году после ареста Тухачевского освободилась огромная квартира из одиннадцати комнат, и Панкратьеву предоставили две из них. Жил он очень замкнуто, ни в театры, ни в гости ходить не любил.
20 мая 1938 года М. И. Панкратьев был назначен Прокурором РСФСР. Ему сразу же пришлось участвовать во Всесоюзном совещании прокуроров, которое заслушало доклад А. Я. Вышинского о перестройке работы органов прокуратуры и обсудило проект его же приказа по этому вопросу. Панкратьев выступил от Прокуратуры РСФСР и начал со следствия, качество которого было еще очень низким. Привел вопиющие факты беззакония, когда люди попадали под суд по надуманным основаниям. В Куйбышевской области, например, председатель колхоза был осужден только за то, что выставил из дома вломившегося пьяного колхозника. В Чувашии был лишен свободы учитель – за сказанную им в гостях при женщинах непристойную фразу. Затем Панкратьев поднял вопросы подготовки кадров, организации руководства нижестоящими прокуратурами – в первую очередь районного звена. «Мы районного прокурора редко вызываем в Москву, с тем чтобы показать ему, как надо работать, – говорил Панкратьев, – чтобы поучить его, как нужно работать. Мы не знаем, что он из себя представляет… Когда просматриваешь план обследования, то убеждаешься в том, что он нереальный, не рассчитан на то, чтобы помочь районному прокурору. На это мы должны обратить внимание, подумать о районной прокуратуре; в соответствии с этим мы должны перестроить нашу работу».
3 января 1939 года Прокурор Союза ССР А. Я. Вышинский в письме на имя секретаря ЦК ВКП(б) Маленкова подтвердил свое предложение об утверждении Панкратьева в должности прокурора республики, охарактеризовав его как опытного работника, политически твердого и устойчивого. Прокурором республики М. И. Панкратьев работал в течение года. За это время он стал депутатом Верховного Совета РСФСР, ревностно выполнял все директивы партии и правительства, а также указания и распоряжения Вышинского. Последний рекомендовал его на свое место после того, как стал заместителем Председателя Совнаркома СССР. Правда, особого выбора у него и не было, так как после основательных чисток кадры органов прокуратуры серьезно оскудели.