А вырос Маннергейм в отцовской усадьбе Лоухисаари, основанной чрезвычайно богатым владельцем финских земель Херманом Классоном Флемингом, который был генерал-губернатором Финляндии при Карле XI в 1664–1669 годах. Поместье Лоухисаари служило ему резиденцией. И здесь он выстроил главный сохранившийся финский дворец второй половины XVII века. Флеминги – рыцари, вероятно голландского или бранденбургского происхождения, перебравшиеся в Швецию с острова Рюген, владели землями в Финляндии начиная с XIV века. В книге шведского дворянства Флеминги записаны под номером четыре и названы людьми благородного рождения, известными с незапамятных времен, то есть с 1366 года, когда впервые упоминается Педер Флеминг, их первый общий предок. Они заключали браки с дамами из разбогатевших финских семей. И в 1400 году в Лоухисаари от Класа Педерсена Флеминга и Цецилии Класдоттер Дьякн Дьикн родился Магнус Флеминг, женившийся, в свою очередь, на Элин Нильсдоттер Курки из знатного финского рода. Его сына звали уже Херман Магнуссон Флеминг из Лоухисаари, а его правнук Херман Педерсон назывался просто «хозяин Лоухисаари».
Другой рыцарь из этой семьи по имени Хенрик Классон Флеминг жил в первой половине XV века в районе нынешнего Уусикаупунки и был женат на даме Вальборг Йонсдоттер Таваст, племяннице епископа Магнуса II Таваста. Во второй половине XV века в Наантали под Турку поселился его сын, а его внук Эрик Йоханссон родился в семейном поместье Квидья недалеко от Парайнена (тоже под Турку), которое досталось Флемингам от Магнуса II Таваста. Это был внушительный средневековый трехэтажный каменный барак с малюсенькими окнами и двумя пристройками. Эрик Йоханссон вместе с братом Иваром в 1523 году помогал Густаву Васе изгнать отряды датчан из Финляндии, он стал шведским адмиралом и обладателем поместья Свидья близ Сиунтио, гораздо больше похожего на аристократический дворец, чем Квидья.
Его сын Клас Эрикссон Флеминг унаследовал его должность лагмана Южной Финляндии. Он тоже командовал флотом. Клас Эрикссон вовремя предал короля Эрика XIV и сдал Юхану свои корабли для захвата Стокгольма. За это Юхан сделал его государственным советником, верховным адмиралом и наместником Выборга, обнаружив силу стать выше обстоятельств, ведь именно Клас Флеминг в качестве судьи осадил замок в Турку, пленил и отконвоировал Юхана с Катериной в заточение. Однако король не простил наместнику Выборга злоупотреблений: узнав о том, что Клас Флеминг присвоил собранные в Финляндии налоги, Юхан III отобрал у него в 1576 году должности и передал их Херману Флемингу из Лоухисаари.
Спустя пятнадцать лет Класу Флемингу удалось вернуть себе расположение Юхана, но верность королю-католику обернулась для него бедой. В 1590-м возобновились военные действия: русские осадили Нарву. В феврале командующий Карл Хенриксон Горн подписал перемирие и вернул Москве Ингерманландию. За это он был подвергнут суду под председательством Класа Флеминга и приговорен к смертной казни. А Клас Флеминг получил его ленные земли и должности. И сразу сделался богатейшим помещиком в стране: в его собственность перешли 5 имений и 146 крестьянских дворов, еще 366 крестьянских хозяйств он получил в ленное владение. В 1591 году король назначил его наместником Финляндии и Эстляндии и главнокомандующим в войне против России.