Несмотря на то что Брэндеджу не удалось добиться успеха на Стокгольмских играх, он сам рассматривал Олимпиаду 1912 года как идеальное воплощение благородных принципов олимпийского движения. Он писал по этому поводу: «Существовавшие социальные, расовые, религиозные и политические предубеждения очень быстро забывались, и спортсмены со всех континентов, придерживавшиеся различных взглядов, различных идей и различного образа жизни, казались одним дружелюбным единым целым, над которым витал олимпийский дух». Участие в Стокгольмской Олимпиаде настолько преобразило Эйвери Брэндеджа, что он позволил себе заявить: «Прикоснувшись к религии Кубертена, к олимпийскому движению, я, подобно многим другим, полностью изменился». Упоминание религии в связи с Олимпийскими играми не было простым речевым оборотом или преувеличением. Для многих Олимпийские игры были сродни религиозному действу, полному своих сложных обрядов и ритуалов. Кубертена почитали как пророка, а графа Анри де Байе-Латура — как его ученика. Наиболее радикальные приверженцы олимпийских идей полагали, что Кубертен и Байе-Латур не могли ошибаться, так как являлись живым воплощением идеализма, который якобы позволял возвысить человека над его повседневной борьбой за существование. Именно в этой радикальной части олимпийцев начало формироваться новое мировоззрение, которое современные исследователи называют «языческим идеализмом». В этом «идеализме» не было речи о терпимости и равноправии. Сторонники этой псевдорелигии, подобно фанатикам других религиозных культов, полагали, что только их точка зрения была правильной, а все остальные — ложные. И как результат любой, кто мешал распространению олимпийских идеалов, мог рассматриваться в качестве врага.
Эйвери Брэндедж принадлежал к числу именно таких фанатичных олимпийцев. Выступая в 1929 году перед представителями Торговой ассоциации Чикаго, он даже пытался обосновать собственный расовый идеал: «Не исключено, что мы можем стать свидетелями рождения новой расы, расы мужчин, которыми движет спортивное мастерство, являемое ими на спортивных площадках. Но ту же самую спортивную силу эти мужчины никогда не будут проявлять без лишней на то надобности в обыденной жизни. Это будет физически сильная раса, нравственно и духовно окрепшая. Эта раса не будет знать заката, так как она готова бороться за свои права и физически приспособлена к этому. Люди этой расы будут помогать своему противнику, верх над которым одержат в справедливом спортивном поединке. И они будут бесстрашны в желании устранить несправедливость». Конечно, эти идеи несколько отличались от расовой доктрины национал-социализма, но Эйвери Брэндедж никогда не скрывал своего восхищения тем, что в Германии нарождался «новый культ тела». Только принимая в расчет эти сведения, можно попять суть письма, которое граф Анри де Байе-Латур направил в ноябре 1933 года Брэндеджу. Это письмо было наполнено внутренними противоречиями. С одной стороны, Байе-Латур признавался в антисемитизме, с другой стороны, хотел преуспеть в деле защиты евреев-спортсменов. Когда он писал это сообщение, то его в первую очередь волновало, чтобы германские власти сдержали свое слово, которое немецкая делегация дала на заседании Международного олимпийского комитета.
Чтобы эти гарантии не были пустыми словами, Байе-Латур решил обратиться к Эйвери Брэндеджу: «Я полагаю, что было бы весьма полезным, если бы Любительский спортивный союз США по итогам своего ежегодного собрания обратился к спортивным организациям Германии, дабы удостовериться, что данные в Вене обещания не будут аннулированы под каким-нибудь предлогом. Немецкую сторону также надо уведомить о том, что если подобное произойдет, то будет поставлено под сомнение участие немецких атлетов в играх 1936 года, а также едва ли Американский олимпийский комитет выдвинет своего представителя для участия в работе организационного комитета по подготовке XI Олимпийских игр». Кроме этого Байе-Латур считал, что поддержка американских спортсменов может усилить его личные позиции, так как он нередко становился объектом для обвинений в сознательной дискредитации национал-социалистической Германии. Граф Анри де Байе-Латур не был в состоянии опровергнуть резкие заявления Теодора Левальда, в которых говорилось, что «критика Германии была исключительно порождением ненависти, которую испытывают американские евреи к нашей стране». Надо отметить, что Теодор Левальд был прекрасно осведомлен о том, что Байе-Латур был антисемитом, а потом решил сыграть на его чувствах.