Первые годы жизни будущий рейхсмаршал провел у знакомых семьи в баварском городе Ферте. Он был капризным и раздражительным ребенком, но быстро успокаивался, получив какой-нибудь подарок. Сестра Германа Ольга вспоминала, что, когда они встречали на железнодорожном вокзале вернувшихся с Гаити родителей, трехлетний малыш демонстративно повернулся к прибывшему поезду спиной. А когда мать взяла его на руки, он расплакался и даже стал бить ее кулачками по лицу и груди. Отца же Герман вообще проигнорировал. Для него это были чужие, незнакомые люди.
Долгие годы службы в тропических странах подорвали здоровье Генриха Геринга, и в возрасте 56 лет он вынужден был уйти в отставку. После этого Генрих стал искать утешения в вине, за что сын презирал его.
Крестный отец Германа Эпенштейн часто навещал Герингов. Однажды этот преуспевающий врач пригласил все семейство погостить в его замке у деревни Маутерндорф. Там юный Герман познакомился с рыцарской экзотикой, которой увлекался хозяин замка. Слуги были одеты в средневековые одежды, подаче на стол каждого нового блюда предшествовал звук охотничьего рога. По праздникам же в большом зале выступала группа новоявленных менестрелей. С тех пор неорьЩарские идеалы глубоко запали в душу Герману Герингу.
Большинство исследователей полагают, что доктор Эпенштейн и фрау Геринг стали любовниками примерно за год до рождения Альберта, младшего брата Германа. Не исключено, что ее муж и запил именно из-за этого. Богатый любовник щедро одаривал свою пассию, и многодетное семейство Геринг (у Генриха Геринга было еще пять детей от первого брака), в том числе и юный Герман, Ни в чем не знало нужды. Эпенштейн позже стал крестным и других детей Фанни.
Доктор Геринг, в полном соотйетствии с традициями своего сословия, придерживался мнения, что предназначением женщин являются три «К» — «Kinder», «Kirche», «Kueche», то есть «дети», «церковь», «кухня». Фани не разделяла, эту точку зрения.
В 1900 году Герман часто болел бронхитом и пневмонией, и Эпенштейн предложил Герингам отправиться в другой свой замок, на этот раз в Франконии (Бавария). Это была отреставрированная средневековая крепость XI века Бург-Фельденштейн. По большому счету, от крепости остался только фундамент, а сам замок был новоделом, выполненным в средневековом стиле.
Как пишет биограф Геринга Вили Фришауэр, «хотя предки Германа Геринга по отцовской линии были выходцами из Пруссии, он предпочитал считать себя баварцем. Именно в Баварии он получил известность в качестве члена «Баварской группы» национал-социалистической партии, и многие, даже его близкие друзья, были позже удивлены, обнаружив так много прусских черт в его характере».
Когда фон Эпенштейн давал балы в замке, Фанни выступала в роли хозяйки. Остальные же члены семейства Геринг в это время оставались в отведенном им флигеле рядом с замком. Эпенштейн часто отъезжал из Бург-Фельденштейна в находившийся неподалеку Байрейт на Вагнеровские фестивали. Но в домике Герингов одна из спален и гостиная всегда были свободны, и в свои приезды в замок Эпенштейн уединялся там с Фанни. Генрих Геринг давно смирился со своим положением й никаких обид, по крайней мере открыто, не высказывал.
Герман Геринг всю жизнь очень любил своего крестного. Как вспоминал другой крестник фон Эпенштейна, профессор Ганс Тирринг:
«Герман по-настоящему подрался и разбил в кровь нос приезжему мальчишке, утверждавшему, что крестный получил свой титул от кайзера за деньги, а не за доблесть».
На следующий же день этого мальчишку вместе с родителями выставили из замка. Герману же в награду разрешили целый день провести в горах вместе с Эпенштейном и даже поучаствовать в охоте на серн.
В 1904 году Германа Геринга направили в школу-интернат в Ансбахе. Там ему сразу же не понравилось. Дисциплина была строгой, а пища — скудной. Дома он занимался с учителем игрой на фортепиано, но в школе на уроках музыки Германа заставили играть на скрипке, а с этим инструментом он был не в ладах. В Ансбахе Геринг, как утверждали после войны некоторые его биографы из антифашистского лагеря, неожиданно узнал, что на самом деле Эпенштейн был евреем, но это не уменьшило восхищение им юного Германа, которому в те годы еще был чужд антисемитизм. Творцы этой версии утверждали, что Эпенштейн, будучи одно время врачом прусского кронпринца Фридриха Вильгельма, познакомился с дочерью банкира-немца и, чтобы вступить с ней в законный брак, перешел в католичество. После получения дворянства и рыцарства фамилия Эпенштейн была занесена в SemiGotha — список дворянских фамилий, пожалованных евреям.