В 1920 г. на Кавказском фронте Ефремов участвовал в наступательной Бакинской операции совместно с силами Волжско-Каспийской флотилии и участниками восстания бакинских рабочих. Операция требовала быстроты действий во избежание поджога имевшихся запасов нефти и нефтепромыслов. Перед Ефремовым была поставлена задача: совершить стремительный и внезапный рейд и до подхода основных сил армии овладеть железнодорожной станцией Баку, парализовав деятельность правительства Азербайджана. Бронепоезда, разорвав установленные противником проволочные заграждения, двинулись вперед, несмотря на яростное сопротивление. Ефремов быстро принимал решения, и бронепоезда с боями продвигались дальше. Ни один маневр, предпринятый противником, не увенчался успехом. Последние километры до Баку красные бронепоезда шли без остановок, на предельной скорости.
Ефремов очень удачно провел Бакинскую операцию, что помогло в установлении советской власти в Азербайджане. Бакинский рейд бронепоездов — исключительно редкий и интересный в истории военного искусства маневр. За успешное проведение Бакинской операции М. Г. Ефремов был награжден орденом Красного Знамени и ценным подарком с драгоценными камнями.
С февраля 1921 г. Ефремов — командир 33-й отдельной стрелковой дивизии, с июля 1921 г. — начальник Вторых Московских командных пехотных курсов, с февраля 1924 г. — помощник командира и начальник политотдела 14-й стрелковой дивизии. С апреля 1924 г. командовал 19-й Тамбовской стрелковой дивизией, с июля 1928 г. — 18-й Ярославской стрелковой дивизией. В 1927 г. — военный советник в Китае. С марта 1931 г. — командир и военком 3-го стрелкового корпуса, с декабря 1933 г. — 12-го стрелкового корпуса. Приказом Народного комиссара обороны Союза ССР в 1935 г. Ефремову присвоено персональное военное звание «комдив». С июня
1937 г. М. Г. Ефремов поочередно командовал войсками Приволжского, Забайкальского, Орловского, Северо-Кавказского и Закавказского военных округов.
В конце 30-х годов шла чистка командного состава армии и флота. Командующий Ленинградским военным округом П. Е. Дыбенко находился под следствием. Ефремов сменил его в Приволжском военном округе, понимая, что над ним тоже нависла угроза. Предчувствие его не обмануло, он оказался под арестом. Правда, не в застенках НКВД, а в номере гостиницы «Москва», который не имел права покидать. Два с половиной месяца домашнего ареста показались целой жизнью. Еще одной, чудовищной, мучительной, которую, впрочем, он прожил тоже вполне достойно. Не смалодушничал, никого не оговорил. Два с половиной месяца следователь задавал ему вопросы, по пять-десять раз одни и те же. То ли провоцировал Ефремова на взрыв, то ли сознательно, методично ломал его, склоняя подчиниться обстоятельствам, потому как, мол, весь ход событий, все показания обвиняемого Дыбенко сводятся к тому, что он, Ефремов, тоже участник заговора против Сталина, Родины, РККА. Но и у Ефремова было достаточно хладнокровия, твердости и убежденности в том, что вздор не может стать правдой, если даже его повторить тысячу раз.
Предварительно разобравшись в его деле, нарком обороны страны К. Е. Ворошилов, А. И. Микоян и члены военной партийной комиссии при ЦК ВКП(б) пришли к выводу: просить И. В. Сталина лично принять участие в разборе дела командующего. Допрос Ефремова провел сам Сталин. Тот убедительно и смело доказывал свою невиновность. Дело было закрыто, и обвинение с Ефремова снято.
В начале Великой Отечественной войны генерал-лейтенант Ефремов воевал в должности командующего 21-й армией Западного фронта, которая вела ожесточенные бои на Могилевском направлении. 7 августа 1941 г. он назначен командующим войсками Центрального фронта. В конце июля соединения армии приковали к себе значительные силы немецких войск и задержали их продвижение к Днепру.
В октябре 1941 г. генерал-лейтенанта Ефремова назначают командующим 33-й армией. Это назначение стало для него судьбоносным. В конце ноября 1941 г. армия Ефремова занимала оборону в условиях непосредственного соприкосновения с противником по реке Нара, испытывая недостаток сил и средств. Севернее оборонялась 5-я армия генерал-лейтенанта Говорова, а южнее — 43-я армия генерал-майора Голубева.
1 декабря 1941 г. группа армий «Центр» под командованием генерал-фельдмаршала фон Бока предприняла очередную попытку фронтального прорыва к Москве в районе н.п. Апрелевка, всего в 25 км от Москвы. Целью противника было расчленить и уничтожить войска 5-й и 33-й советских армий и в дальнейшем, действуя вдоль Киевского и Минского шоссе, выйти к столице. Утром 1 декабря после сильнейшей артиллерийской и авиационной подготовки немцы начали наступление. Северо-западнее Наро-Фоминска две немецкие дивизии, используя более чем пятикратное превосходство в силах, прорвали оборону 222-й стрелковой дивизии 33-й армии и заняли ряд новых территорий.