Вилли, как звали его друзья, родился в городке Кухенхайме, неподалеку от Ойскирхена, но детство его прошло в Саарбрюккене, где отец был управляющим большим оптовым виноторговым предприятием. Мальчик воспитывался в строгой католической атмосфере и был членом школьного католического союза «Новая Германия». После роспуска национал-социалистами религиозных молодёжных объединений Вилли вступил в союз «Серый орден», члены которого искали собственные пути развития, пытались повлиять на реформу католической церкви. Для молодых людей всё яснее становилась несовместимость идеологии фюрера и христианства, и, осознав это, они считали необходимым противостоять режиму. Несмотря на все уговоры и угрозы, Граф так и не вступил в гитлерюгенд. В 1937 году он окончил гуманитарную гимназию. Особый интерес проявлял к немецкому языку и религии, истории и географии, позднее — к греческому языку и музыке. В январе 1938 года Вилли Граф был арестован на три недели за участие в запрещённых собраниях, походах, летних лагерях. Вместе с другими семнадцатью членами «Серого ордена» он предстал перед особым судом города Мангейма по обвинению в «союзных происках». К счастью для него и друзей, дело было вскоре прекращено по амнистии в связи с «присоединением» Австрии.
После отбытия трудовой повинности зимой 1937 года Вилли начал изучать медицину в Боннском университете. В январе 1940 года его призвали на службу в вермахт в качестве санитара. В отличие от Ганса и Алекса, тянувших солдатскую лямку на Западе, Вилли воочию убедился во всех тех ужасах войны, о которых ребята знали лишь понаслышке: ему довелось побывать в Югославии, Польше и России. В январе он пережил тяжёлое отступление 4-й танковой армии из-под Москвы, в хаосе которого впервые во всей полноте столкнулся с реалиями боевых действий. В апреле он получил возможность продолжать обучение в университете и немедленно вылетел из Гжатска, где дислоцировалась его часть, в Германию. По прибытии в Мюнхен его зачислили во вторую студенческую роту, и за пару месяцев Граф успел познакомиться и сдружиться с Александром, Кристофом, Гансом и Софи. Постепенно расширявшийся круг друзей по давней традиции собирался в доме Шморелей. Здесь ребята читали и обсуждали теологические, философские произведения, играли на рояле, знакомились с русской литературой — переводной и в подлиннике — «для отдохновения души», как скажет потом Александр. И всё же, несмотря на тесные, доверительные отношения, ни Алекс, ни Ганс не считали пока возможным посвятить друзей в свою тайну.