Гитлер не смог скрыть своего разочарования столь бессмысленным радикализмом, который в том числе себе позволяли некоторые из руководителей спортивных объединений. В то же самое время он счел неприемлемым ультимативный тон обращения графа де Байе-Латура. Понимая, что организационный комитет по подготовке Олимпиады-1936 будет находиться в подчинении МОК, Гитлер отказался от поста председателя почетного комитета. Левальд оказался между молотом и наковальней. Ему пришлось в срочном порядке убеждать МОК в том, что в Германии царит большое воодушевление по поводу предстоящих Олимпийских игр, а потому нет никакого смысла переносить их из Берлина в другой европейский город. Одновременно с этим ему пришлось вести активную работу с министерством внутренних дел, чтобы то осадило фон Чаммера. В итоге Имперский комиссар по вопросам спорта получил в организационном комитете по подготовке Олимпиады всего лишь право совещательного голоса.
Как бы то ни было, но когда в июне 1933 года в Вене вновь был поднят вопрос о том, насколько власти рейха были готовы подчиниться олимпийским правилам, то были предоставлены все необходимые гарантии. Отдельное внимание было обращено на то, что в Олимпиаде могли без проблем принимать участие даже евреи. Но в этой связи надо задаться двумя вопросами. Во-первых, не ослабил ли граф Анри де Байе-Латур свой решительный тон? Во-вторых, были ли уполномочены германские делегаты давать подобного рода гарантии от лица имперского правительства? Сохранились сведения, что в венском заседании МОК принимал участие Ганс фон Чаммер, который и представил документы, подписанные министром внутренних дел Вильгельмом Фриком. Судя по всему, Гитлер категорически отказывался давать гарантии от своего имени. В то же самое время в архивах сохранились документы, из которых следует, что решение об участии в Берлинской Олимпиаде еврейских спортсменов было принято только в сентябре 1934 года! И произошло этого только после афинского заседания МОК.
Однако, несмотря на то что в Вене руководство МОК получило письменные гарантии от немецкой делегации, граф де Байе-Латур не смог полностью избавиться от терзавших его подозрений. В итоге, когда в 1934 году в Афинах вновь состоялось очередное заседание Международного олимпийского комитета, то тема преследования евреев в Германии вновь оказалась на повестке дня. Впрочем, на этот раз Байе-Латур в качестве президента МОК отметил, что «в этой стране прилагаются самые серьезные усилия, чтобы избавить спорт от политического влияния». Но это не помешало ему попросить представителей Германии вновь озвучить гарантии, которые были даны в Вене. В то время членов МОК очень беспокоили события, происходившие в Германии. И их опасения не были безосновательными. Пройдет год, и на очередном партийном съезде, который окрестят «съездом свободы», будут приняты так называемые «Нюрнбергские законы», согласно которым евреи окажутся ущемленными в своих правах. Именно к этому моменту достигнет своего апогея волна акций, в ходе которых звучали призывы бойкотировать Берлинскую Олимпиаду. Наиболее сильно кампания критики и бойкота развернулась в США, и ее даже отчасти поддерживали американские члены МОК.
Между тем 7–8 марта 1935 года граф Анри де Байе-Латур проводил ревизию строящихся в Берлине олимпийских объектов. После этого он решил предпринять самые решительные меры. В октябре 1935 года он стал настаивать на личной встрече с Гитлером. Темой разговора должны были стать опять же еврейские спортсмены и проблема развернутой в США кампании бойкота. Чтобы упростить возможность встречи графа с фюрером, имперская канцелярии составила специальный документ, в котором Байе-Латур изображался как дружественный по отношению к Германии деятель. В частности, речь шла о письме американских членов МОК Ширила и Джанке, которые выражали скептическую позицию по поводу возможности проведения Олимпиады именно в Германии. Чтобы снять внутренние противоречия внутри Международного олимпийского комитета, Байе-Латур привел несколько аргументов, которые весьма ловко использовались Германией в собственных целях. Он указывал на то, что еврейские спортсмены в Германии были допущены к тренировкам, более того, на игры в Берлин была приглашена даже сборная Палестины. Президент МОК заявлял: «С марта этого года я нахожусь в постоянном контакте с господином Чаммером унд Остеном, который дал мне гарантии, что евреям разрешат входить в состав германской сборной». Более того, граф не упустил возможности, чтобы напомнить американцам, что у них в стране тоже не наблюдалось расового равноправия. В завершение он произнес, что ни одна из стран мира не разорвала дипломатических отношений с Германией из-за преследования евреев: «Не стоит спорт смешивать с политикой». На этот раз данный тезис играл в пользу Германии.