Но Элла, оставившая обоих сыновей в Гааге с их отцом, жила в Англии не только ради дочери. Баронесса влюбилась в мелкого помещика (совершенно английского «country gentleman»), который жил под Фолкстоном. В конце концов она сняла там коттедж под названием «Оршард Вилла», чтобы спокойно встречаться с ним. Соседская девочка Джоан Хокинс стала лучшей подругой Одри: «Её звали Одри Растон, но однажды она сказала мне по секрету: “Моя фамилия не просто Растон, а ещё Хепбёрн... как у звезды Кэтрин Хепбёрн”. Она никогда не рассказывала о своём отце. Чувствовалось, что это запретная тема. У Одри тогда ещё был лёгкий иностранный акцент. Её мать пригласила всех учениц из класса Одри на празднование девятилетия дочери в мае 1938 года. Она сфотографировала нас всех немецкой “Лейкой” — тогда это была большая редкость. У баронессы было странное отношение к деньгам. На день рождения она купила Одри подержанный велосипед, а временами жила так, словно деньги не имеют значения; тогда это было в духе времени».
А дух времени становился всё тяжелее. Десятый день рождения Одри праздновала уже не в Англии. 3 сентября 1939 года после вторжения нацистов в Польшу Великобритания объявила войну гитлеровской Германии. Баронесса, в то время жившая с сыновьями в нейтральной Голландии, потребовала, чтобы дочь немедленно вернулась, думая, что так она будет в большей безопасности. А главное, она боялась разлуки со своей дорогой Одри, предвидя скорые осложнения в сообщении между Англией и континентом.
Предприняв энергичные усилия, Элла устроила отъезд дочери из Кента: её встретили на вокзале Ватерлоо, а сама она ждала Одри у трапа самолёта. «Мама усадила меня в ярко-оранжевый самолёт, который летел очень низко, — рассказывала потом Одри. — Это был один из последних самолётов, которые смогли улететь». Некоторые утверждают, что Джозеф Растон, предупреждённый в последний момент, поцеловал Одри на перроне вокзала Ватерлоо, попрощавшись с ней навсегда, но этого никто не может знать наверняка.
Одри спешно вернулась к матери и братьям, которые думали, что спаслись от нацистской угрозы. Немецкая граница проходила совсем рядом с замком Зупендал, где их приютил старый барон ван Хеемстра, к тому времени овдовевший. Элла получила от королевы Вильгельмины уверения, что Гитлер никогда не захватит Голландию. Баронесса тотчас записала дочь в пятый класс государственной школы в Арнеме (школа «Тамбурсбоше» — Tamboersbosje) под именем Одри ван Хеемстра. Но для десятилетней девочки оказалось непросто вернуться к голландским корням, о чём она рассказывала в 1990 году: «В первое утро в школе я сидела за партой совершенно потерянная. Много дней я возвращалась домой в слезах. Но я знала, что я обязательно должна справиться. Мне было необходимо быстро выучить заново язык, и я справилась».
Занятия матери Одри в то время были гораздо более рискованными. Не получая ни малейшей материальной помощи от мужа, вынужденная самостоятельно вести свои счета, она обнаружила, что большая часть её состояния была пущена на ветер из-за небрежного управления её супруга. Баронесса поняла, что пора действовать, начала работать декоратором, а также учить игре в бридж. Это позволило ей переехать с детьми в небольшой домик в Арнеме.
В то смутное время Элла поступала очень противоречиво. Она запретила дочери говорить по-английски («Мама боялась, что я заговорю по-английски на улице, когда кругом были сочувствующие немцам»). Но в то же время баронесса возглавила общество англо-голландской дружбы в Арнеме, где с XVII века проживала многочисленная британская община.
Накануне десятого дня рождения Одри записали на балетные курсы в Консерваторию Арнема, в класс Виньи Маровой. Она обучалась там азам классического балета, укрепила позвоночник и избавилась от угловатости в движениях. По словам её преподавательницы, «Одри была высокой для своего возраста, очень худенькой, прилежной, поскольку все её мысли были заняты балетом. Она бы всё бросила ради него. У неё был очень тонкий музыкальный слух. Я всегда получала удовольствие от занятий с ней. Во время её первого представления я убедилась, насколько она одарённая. Когда она выходила на сцену, пусть ещё и мало что умея, сразу чувствовалось, что её страсть передаётся публике».
У Одри были слабые ножки и тонкие щиколотки. Тем не менее в первые месяцы занятий она сумела укрепить их до такой степени, чтобы встать на пуанты. Одри была похожа на маленькую танцовщицу Дега: совершенный розовый цвет лица, каштановые волосы, ниспадающие на плечи, серьёзно-кроткий вид и уже тогда неотразимая улыбка.
Весной 1940 года тучи войны сгустились над Голландией. В Европе поднималась буря. Даже в Англии угроза немецких бомбардировок становилась всё реальнее. Чемберлен подал в отставку, премьер-министром стал Черчилль. 23 мая 1940 года в Англии была принята статья 186 против приспешников фашистов, и в июле Джозеф Хепбёрн-Растон был арестован за «соучастие во враждебной деятельности» и заключён в тюрьму Брикстон. Ни Элла, ни Одри об этом не знали.