Первая задача Брэндеджа состояла в том, чтобы по поручению Американского олимпийского комитета направиться в Германию, где предстояло изучить условия жизни еврейских спортсменов. И лишь на основании собранной информации комитет в США должен был принять конкретное решение. Однако, прежде чем прибыть в рейх, американский деятель в августе 1934 года прибыл в Стокгольм, где проходил съезд представителей Международной федерации легкой атлетики. В Швеции все было заранее подготовлено к встрече Брэндеджа. В особняке, в котором проживал Зигфрид Эдстрём, он как бы случайно столкнулся с Левальдом, фон Хальтом, Димом и Юстасом Мейерхофом. Последний был евреем по национальности, что не мешало ему состоять в Берлинском спортивном клубе. Поведение Мейерхофа было настолько свободным, что Брэндедж не заподозрил подвоха. Об этой «случайной» встрече позже вспоминал Карл Дим: «Мы показали Брэндеджу документы, из которых следовало, что евреи могли свободно принимать участие в спортивных соревнованиях и в Олимпийских играх в том числе. Мейерхоф рассказал нам историю, как хотел покинуть Берлинский спортивный клуб, но его «отставка» не была принята. Никогда в жизни я не был горд за свой клуб, как в тот момент. Брэндедж был впечатлен не меньше».
Американец прибыл в Германию 12 сентября 1933 года. Вначале он оказался в Восточной Пруссии, в Кенигсберге. Его путешествие по Третьему рейху продолжалось чуть меньше недели. В эти несколько дней Брэндеджу пытались показать только привлекательную сторону «новой Германии». Ему даже позволили встретиться с еврейскими спортсменами. Но Брэндедж очень плоховато знал немецкий язык, а потому общаться ему приходилось через переводчиков, которые «любезно» были предоставлены национал-социалистическим правительством. В итоге у заморского гостя сложилось впечатление, что еврейским спортсменам не чинилось никаких препятствий и неудобств. Брэндедж оказался настолько очарован рейхом, что год спустя в США на одном из собраний произнес: «Америка должна поучиться у Германии. В этой стране проведена эффективная и успешная работа. У этой страны есть дух». Принимая в расчет эти слова, нельзя не учитывать, что американец долгое время представлял себе Германию страной образца конца 20-х, то есть он думал увидеть страну, страдающую от «отчаяния», «долгов», а потому бездумно погруженную в «ночную жизнь» и «истеричное веселье». Однако взору Брэндеджа предстали подтянутые немцы в униформе, которые были «гостеприимными, учтивыми, хорошо воспитанными и дружелюбными людьми». Все же Брэндедж предпочитал видеть не национал-социалистический рейх, а «Олимпийскую Германию», в которой якобы никто не заслуживал несправедливых наград. Оп заблуждался, и эти заблуждения привил своим соотечественникам.
Когда Эйвери Брэндедж вернулся в США, то стал всех подряд заверять, что для бойкотирования Берлинских игр не было пи причин, ни поводов. 26 сентября 1934 года его доклад заслушивал Американский олимпийский комитет. Еще не так давно Густав Кирби, настойчиво требовавший отказаться от участия в Олимпиаде 1936 года изменил свою позицию самым кардинальным образом. Оп заявил: «Я полагаю, что Германия будет придерживаться всех своих обещаний. Из сообщения мы узнали, что она более не намерена сворачивать с курса, который был взят». Не менее восторженные слова себе позволял и генерал Шеррил. Он полагал, что именно американские спортсмены заставили национал-социалистов изменить если не отношение, то хотя бы условия жизни евреев. Не было ничего удивительного в том, что после этих слов все восемнадцать членов Американского олимпийского комитета единодушно проголосовали за участие сборной США в Олимпиаде 1936 года. Аналогичное решение было принято и по вопросу об участии в зимних Олимпийских играх, которые в феврале 1936 года должны были стартовать в Гармиш-Партешенрхене. После этого Теодор Левальд сделал «реверанс». В сообщении, адресованном АОК, он заявлял: «Олимпийские игры нельзя считать в полной мере таковыми, если бы в них не принимали участие американские спортсмены». Но не стоило полагать, что требования организовать бойкот сразу же утихли. В день возвращения в США Эйвери Брэндедж получил письмо от Сэмюеля Уптермейера, возглавлявшего так называемую «Антинацистскую Лигу». В письме говорилось: «Участие в этих играх нарушает экономический бойкот и культурную изоляцию, которые весь цивилизованный мир хочет использовать для борьбы с озверевшим режимом. Ни один обладающий чувством собственного достоинства еврей, в какой бы стране мира он ни проживал, не позволит ссбе прибыть в нацистскую Германию». Деятельность «Антинацистской Лиги» поддерживал Эдмунд Селлер, сенатор от демократов. Он заявил публике, что «Брэндедж оказался в силках, расставленных устроителями состязаний в рейхе, — решение было принято еще до того, как он приплыл в Германию».