Весной 1943 года Валентина и Зою вместе с другими местными жителями немцы загнали в «детский поезд», чтобы депортировать в Германию. Сначала их отвезли в польский Гданьск, где они работали в соседних лагерях. «Мне приходилось каждую неделю обстирывать сотни немцев, — рассказывает Зоя. — Мы кое-как перебивались, но они были хозяева, а мы — рабы. Они всё могли с нами сделать — могли убить, а могли оставить жить. Нас все время мучил страх, а выглядели мы как оборванные золушки, кожа да кости, одни локти торчат. Обуви у нас не было, иногда мы находили солдатские сапоги, но они были для нас слишком большими… Немцы селили нас в разрушенных домах, после того как выгоняли оттуда тех, кто там жил». Зоя не любит вспоминать о том, что она тогда пережила — пятнадцатилетняя девочка, угнанная врагами.
Когда немцы стали отступать, командование регулярных фашистских частей посчитало, что эсэсовское обыкновение перевозить пленных на поезде — непозволительная роскошь. «Детские поезда», шедшие через Польшу, меняли свой маршрут, по приказу или без него. Валентин с Зоей сбежали из лагерей и две недели скрывались в лесу, ожидая появления советских войск. «Когда они наконец пришли, мы надеялись, что нам дадут вернуться домой, — вспоминает Зоя, — но нам сказали, что мы должны остаться при нашей армии добровольцами». Зою послали работать на конюшне кавалерийской бригады, и по горькой иронии судьбы она вместе с советскими солдатами отправилась в глубь Германии, как раз в те места, куда должен был ее доставить «детский поезд». К тому времени Валентина сочли достаточно взрослым для службы на передовой. Он быстро научился обращаться с противотанковым гранатометом и другим тяжелым вооружением.
Алексей и Анна Гагарины, оставшиеся в своей деревне, были уверены, что их старшие дети погибли. Алексея, никогда не отличавшегося богатырским здоровьем, подкосили горе и голод, к тому же он получил серьезные травмы — немцы жестоко избили его, когда он отказался на них работать. Остаток войны Алексей провел в полевом госпитале, сначала в качестве пациента, затем — как санитар. Анна тоже пробыла там какое-то время — после того как немецкий сержант Бруно полоснул ее косой, оставив глубокую рану на левой ноге; Юрий яростно защищал мать — отгонял Бруно, бросая немцу в глаза комья грязи.
В конце концов немцев выбили из Клушина. Это произошло 9 марта 1944 года. Алексей, хромой, но непокорный, показывал наступающим русским войскам, где фашисты, в спешке отступая, заложили мины на асфальтовых и проселочных дорогах. Анна оправилась от ранения и изо всех сил заботилась о Борисе и Юрии, хотя под рукой не было практически никакой еды. Лишь ближе к концу сорок пятого она узнала, что Валентин и Зоя живы. Наконец ее повзрослевшие дети вернулись домой.
Лидия Обухова, писательница, хорошо знавшая Гагариных в 60-е годы, в 1978 году вспоминала: «Война, оккупация, страшный немецкий постой в гагаринской избе, казалось, способны были исковеркать, навеки принизить детские души. Но отец и мать и тут не сфальшивили ни в чем. Они переносили несчастье стойко. Ни одной черты приспособленчества, угодливости перед врагом не проявилось в них. А следовательно, не было этого и в детях… Когда оккупанты угнали на работы в Германию деревенскую молодежь, в том числе Валентина и Зою, девушку совсем юную, пятнадцатилетнюю, полную привлекательности — такую трагически беззащитную перед превратностями, которые могли постигнуть ее на чужбине! — мать почернела от горя. Она плакала так безудержно, что муж взмолился: „У нас осталось еще двое маленьких сыновей. Ты им нужна!“»2
После войны Гагарины переехали в близлежащий город Гжатск и выстроили там новый дом, используя балки и кровлю своего старого домика. Получилось весьма скромное жилище — кухня да две комнаты. Конечно, после войны жизнь была тяжелая. От Бреста до Москвы немцы всё разрушили, весь скот угнали, дома все были в развалинах. Зоя вспоминала, что в их селе всего два дома осталось. Жители Гжатска построили школу; директором и учительницей вызвалась быть молодая женщина по имени Елена Александровна, старавшаяся сделать для своих учеников все что могла — без мела, без нормальной доски, без учебников. Юрий и Борис учились читать по старому руководству для бойцов Красной армии, оставшемуся после отступающих частей. А на уроках географии они изучали военные карты, извлеченные из полусгоревших кабин армейских грузовиков и танков.