В августе 1914 г. с началом Первой мировой войны М. В. Алексеев был назначен начальником штаба Юго-Западного фронта, который должен был действовать против Австро-Венгрии. Главнокомандующим фронтом стал генерал Н. И. Иванов, человек во многом пассивный, бывший артиллерист, во время русско-японской войны командовавший корпусом. Однако на общем фоне тот сумел выдвинуться и к 1914 г. занять столь ответственный пост. В результате сложился весьма эффективный тандем, который успешно просуществовал до весны 1915 г.
Отметим интересный факт, что еще в начале августа, когда шло формирование Ставки Верховного главнокомандующего, великий князь Николай Николаевич просил назначить Алексеева генерал-квартирмейстером, на что получил отказ.
Начальник штаба Юго-Западного фронта отличался стратегическим мышлением и не чурался черновой практической работы. Как известно, в начале Первой мировой войны русское верховное командование планировало начать одновременно два крупных наступления — против Германии и Австро-Венгрии. На последнем направлении сосредотачивались наибольшие русские силы (более 50 %). Ставка разрабатывала также идею наступления на Берлин по кратчайшему направлению (через Познань), а для этого в районе Варшавы сосредотачивала новую армию.
На Юго-Западном фронте предполагалось отрезать врага от Кракова и р. Днестр. Наступление началось 18 августа с выдвижения вперед 3-й и 8-й армий генералов Рузского и Брусилова. Уже в сентябре австрийцы понесли тяжелейшее поражение, и к 15 сентября отошли за р. Сан. Потери австрийцев составили до 400 000 человек (против наших 230 000), в том числе было взято 100 000 пленных и 400 орудий. Безусловно, одним из основных авторов победы стал генерал Алексеев.
К этому времени ситуация на Восточном фронте кардинально изменилась. К середине сентября русские армии Северо-Западного фронта потерпели ряд сокрушительных поражений в Восточной Пруссии и были вынуждены в тяжелом состоянии отступить за реки На-рев и Неман. Германцы же решили перебросить основные силы на помощь австрийцам, начав поспешное наступление на Варшаву. В тот период Алексеев сумел быстро разгадать замыслы противника и организовать фронт на Средней Висле. Уже к середине октября наметился перелом в сражении под Варшавой: германцы фактически потерпели поражение во многом благодаря стратегическому таланту Алексеева и Иванова. Однако продолжить наступление Юго-Западного фронта против австрийцев Ставка не позволила. В декабре 1914 г. широкомасштабные операции приостановились, и стороны перешли к позиционным боям.
В начале 1915 г. Ставка вновь распылила силы на два стратегических направления: Австро-Венгрию и Германию. Германцы подтягивали крупные резервы, в то время как Юго-Западный фронт увяз в тяжелых боях в Карпатах. Часть войск фронта была отвлечена на блокаду крупной австрийской крепости Перемышль. Стратегия изматывания противника дала свои результаты, и 22 марта 1915 г. крепость пала. В русский плен сдалось 9 генералов, 2300 офицеров и 122 800 нижних чинов.
Падение Перемышля стало последним успехом Юго-Западного фронта в бытность Алексеева его начальником штаба. Вскоре генерал был назначен вместо Рузского командующим Северо-Западным фронтом. Ему досталось весьма тяжелое наследство: высокий некомплект в войсках, недостаток снарядов, низкий моральный дух солдат, а также сильный и искусный противник — германцы, которые в 1915 г. решили перенести основные усилия на русский фронт, планируя в ходе решительного наступления вывести Россию из войны. Новый главнокомандующий, прежде всего, стал накапливать резервы.