В начале октября 1939 года советско-финские отношения обострились до предела. Москва требовала среди прочего аренды полуострова Ханко, ключа к Хельсинки, для создания там военной базы. 6 октября Маннергейм настоял на начале скрытой мобилизации и эвакуации мирного населения с Карельского перешейка. После того как 30 ноября 1939 года СССР напал на Финляндию, Маннергейм руководил успешными боевыми действиями финской армии, нанесшей неприятелю тяжелые потери. Хотя ценой больших потерь советские войска прорвали в конце концов «линию Маннергейма», плотность укреплений на которой была в десять раз меньше, чем на французской линии Мажино, финские войска сохранили боеспособность, ни одно их соединение не попало в окружение, и вплоть до перемирия финские войска удерживали цитадель Выборга.
Финские потери в «зимней войне» составили 22 810 погибших в бою и умерших от ран, болезней и в плену военнослужащих. Кроме того, во время боевых действий, главным образом вследствие воздушных бомбардировок, погибло 1029 гражданских лиц. Из 11 370 иностранных добровольцев, прибывших в Финляндию, погибло 43 человека. Потери Красной Армии погибшими превысили 131 тысячу человек и, возможно, достигли 170 тысячи человек. В плену оказалось около 6 тысяч красноармейцев и 883 финна. Из этого числа от 300 до 400 советских пленных и 20 финнов предпочли не возвращаться на родину. С помощью Германии, начавшей с конца 1940 года тайно снабжать Финляндию оружием, Маннергейм укрепил армию и полностью залечил раны «зимней войны». Когда в июне 1941 года после нападения Германии на Советский Союз Финляндия также объявила войну Москве, финская армия была сильна как никогда в своей истории. Однако по инициативе Маннергейма в конце 1941 года боевые действия были фактически прекращены. К тому времени финны отбили все территории, отторгнутые СССР в 1940 году, и большую часть советской Карелии с Петрозаводском. Однако после поражения вермахта под Москвой стало ясно, что блицкриг не удался, а в затяжной войне, в чем был убежден Маннергейм, СССР в союзе с Англией и Америкой наверняка одержит верх. Маннергейм отверг неоднократные просьбы Гитлера о наступлении финских войск на Ленинград и Мурманскую железную дорогу. В 1942 году финское правительство, в связи с 75-летием со дня рождения и учитывая его выдающиеся полководческие заслуги, произвело Маннергейма в фельдмаршалы.
Летом 1943 года Москва предложила заключить мир на условии возвращения к границам 1940 года, выплаты Финляндией контрибуции и интернирования немецких войск на севере Финляндии. В Хельсинки эти условия посчитали слишком тяжелыми, хотя Маннергейм советовал их принять. Неофициальное перемирие длилось до 9 июня 1944 года, когда советские войска перешли в наступление на Карельском перешейке. С помощью немецкой бригады штурмовых орудий и нескольких эскадрилий люфтваффе Маннергейм смог остановить советское наступление западнее Выборга и даже окружить и уничтожить несколько советских соединений, вырвавшихся далеко вперед. Но маршал прекрасно понимал, что война проиграна и долго новый фронт все равно удержать не удастся.
4 августа 1944 года Маннергейм стал президентом страны, сменив сторонника прогерманской ориентации Р. Рюти. К тому времени продолжать уже проигранную войну Финляндия не могла, ибо это угрожало потерей государственной независимости. В начале сентября 1944 года при посредничестве Швеции Маннергейм заключил сепаратное перемирие с Москвой, по сравнительно мягким условиям которого германские войска должны были немедленно покинуть Финляндию, а финские войска отступали к границе 1940 года и передавали СССР порт Петсамо. Маннергейм добился, чтобы советские войска не оккупировали Финляндию, а соглашение о перемирии не было капитуляцией. Против группировки немецких войск, оставшейся на крайнем севере Финляндии, финны вели боевые действия в 1944–1945 годах. В ходе «войны-продолжения» финны потеряли около 82,5 тысячи убитыми, умершими от ран и в плену и 2377 пленными. В финский плен только в 1941 году попало более 66 тысяч красноармейцев. Потери Красной Армии погибшими на финском фронте превышали потери армии Финляндии, по всей вероятности, не менее чем в 7 раз.