Одри никогда не говорила об этом. Только однажды она призналась, что в тот день, когда ушел отец, закончилось ее детство: «Я была совершенно сломлена, — вспоминала она. — Я проплакала несколько дней подряд, развод родителей был первым ударом, который я пережила в детстве… Я боготворила своего отца и очень скучала по нему с того самого дня, как он ушел. Расставание с отцом в возрасте каких-нибудь шести лет ужасно. Если бы я могла время от времени встречаться с ним, я бы чувствовала, что он любит меня. Но в той ситуации мне оставалось лишь постоянно завидовать другим, у которых были отцы, и я всегда возвращалась домой в слезах потому, что у них был папа, а у меня его не было. Мать очень любила меня, но она часто не умела показать мне эту свою любовь. И у меня не было никого, кто мог бы просто приласкать меня». Потерю отца она переживала всю жизнь.
После разрыва Элла с детьми переехала обратно в Нидерланды, снова поселившись в доме родителей, а немного позже она сняла квартиру в Арнеме. Несмотря на титул и высокое положение ее отца, у Эллы было не так много личных денег — ей даже приходилось подрабатывать, чтобы свести концы с концами. Ее подруга тех лет, Памела Эвертс, вспоминала: «Хотя Элла действительно происходила из хорошей семьи и ее отец был губернатором в колониях, не забывайте, что он имел шестерых детей, и о каждом нужно было позаботиться. И он не мог особенно роскошествовать даже на две свои пенсии — судьи и губернатора. Ведь последняя должность была скорее почетным титулом, нежели источником доходов. Деньги приходилось считать… Элле посчастливилось, что Одри оказалась таким милым, послушным ребенком, всегда готовым помочь своей маме. Одри была прилежной ученицей и получила хорошее образование. Моя дочь помнит также, что у нее был великолепный музыкальный слух».
В Голландии Одри, уже свободно владеющая английским, которому ее выучил отец, и французским, на котором говорили в Бельгии, где прошло ее детство, заговорила еще и по-голландски. Она посещала школу в Арнеме, где считалась одной из лучших учениц. Возможно, прилежной учебой Одри старалась заглушить свою сердечную боль, недостаток любви в семье. Свободное время она проводила, играя со своими собаками — скотчтерьером и силихемтерьером, которых она позже называла «своими черным и белым талисманами». Она много читала, предпочитая рассказы и сказки о животных, особенно любила «Книгу джунглей» Киплинга.
С детства любящая танцевать, она в 1939 году поступила в балетный класс Арнемской консерватории. Одри занималась страстно, самозабвенно, но ей все равно казалось, что она слишком неуклюжа… Однако благодаря постоянным занятиям ее детская полноватость исчезла, уступив место подтянутости и горделивой, типично балетной осанке. Особенно обращала на себя внимание длинная тонкая шея, которую Одри научилась держать с неповторимым изяществом.
Многие биографы пишут, что Одри несколько лет проучилась в Англии; другие, как, например, та же Памела Эвертс, отрицают этот факт — в Англии юная Одри, конечно, бывала, и нередко, однако лишь в гостях у многочисленных друзей матери, а вовсе не ради получения образования. Лето 1939 года Одри тоже проводила в гостях у знакомых баронессы, тогда Одри видела отца в последний раз. Они встретились на вокзале Ватерлоо, а после он посадил ее на самолет, улетающий в Голландию.
В Европе уже тлела разгорающаяся мировая война, и Элла решила, что в нейтральной Голландии им будет безопаснее, чем в Великобритании — несомненном противнике Германии. Уже скоро время показало, как она ошибалась…
Первое время никто в мирной Голландии не верил, что Германия осмелится напасть на них: более того, симпатии большинства голландцев были на стороне Гитлера — в нем видели сильного лидера, способного навести порядок в расшатанной кризисами Европе. Даже Элла ван Хеемстра была среди поклонниц германского фюрера — еще до развода она написала для английских изданий несколько статей о величии нацистской идеологии. Считается, что она лишь повторяла идеи своего мужа, который, по последним данным, состоял в Британском союзе фашистов и вел какие-то темные дела с немецкой национал-социалистской партией. Есть фотографии, запечатлевшие Растона на крыльце штаб-квартиры национал-социалистской партии в Мюнхене, рядом с лидером Британского союза фашистов сэром Освальдом Мосли.
Этот факт — причастность родителей к фашизму — стал самой страшной тайной Одри Хепберн, омрачившей все ее детские воспоминания. Много лет она боялась в интервью даже заговаривать о своих родителях или предвоенных годах, опасаясь, как бы любопытные журналисты не копнули глубже, чем следовало. Возможно, эта необходимость постоянно держать под жестким контролем свои воспоминания стала причиной той легкой, но весьма ощутимой отчужденности Одри, которую американские журналисты позже сочтут аристократизмом.