Проблема заключалась в том, что 9 июня 1937 года Международный олимпийский комитет постановил провести зимние Олимпийские игры 1940 года в японском городе Саппоро. Однако Япония оказалась втянутой в продолжительные и кровопролитные военные действия, которые она вела против Китая. Когда вооруженый конфликт принял форму войны, то олимпийские представители Японии отказались быть страной, принимающей игры. Сразу же после этого было решено, что зимняя Олимпиада будет проводиться в Санкт-Морице (Швейцария), который уже давно рассматривался в качестве «запасной площадки». Но тут начался конфликт, который ранее не имел аналогов в истории Олимпиад. На повестке дня оказался вопрос о «любителях» и «профессионалах». Здесь столкнулись интересы Международного олимпийского комитета и Международного лыжного союза. Многие лыжники, которые могли принять участие в Олимпиаде, работали либо преподавателями физкультуры, либо воспитателями в спортивных клубах, а потому их нельзя было рассматривать в качестве спортсменов-любителей. Швейцарские устроители Олимпиады прекрасно понимали, что лыжный спорт был основой всех зимних игр, а потому предложили все-таки провести соревнования, но не выдавать по их итогам именно олимпийских медалей. Как оказалось, этот компромисс никого не устраивал. И меньше всего он устраивал Третий рейх, спортсмены которого могли претендовать на определенное количество медалей именно в лыжных видах спорта.
Как результат Германия пригрозила бойкотом зимних игр. Отсутствие сборной Германии, которая провозгласила себя «мировым центром всего олимпийского движения», фактически означало срыв всех игр. В этих условиях граф Байе-Латур направил 21 апреля 1939 года в Швейцарию письмо, в котором сообщал, что если в Санкт-Морице не будет проведено полноценных лыжных соревнований, то не исключалась возможность переноса места проведения зимних игр. Из Швейцарии не слишком-то спешили с ответом. Он пришел только две недели спустя. В нем сообщалось, что Швейцария была готова отказаться от приема зимней Олимпиады. Граф Байе-Латур пребывал в растерянности — он ожидал совершенно другого ответа. Чтобы хоть как-то исправить ситуацию, он обратился к Карлу фон Хальту с просьбой рассмотреть возможность проведения Олимпиады на территории Германии. Фон Хальт в срочнейшем порядке информировал об этом предложении имперскую канцелярию и Имперского руководителя спорта. Гитлер воспринял это как «подарок небес». С одной стороны, новая Олимпиада (пусть только зимняя) позволяла выйти из изоляции, так как британское правительство Чемберлена объявило об окончании «политики умиротворения». Шансы на успех были весьма велики, так как в Международном олимпийском комитете, как никогда, были сильны уже не скрывавшие своих симпатий к Германии Байе-Латур, Эдстрем и Брэндедж. Они даже были готовы отказаться от гуманистических принципов олимпийского движения в пользу складывания нового движения, контролируемого «олимпийской Германией».
Но даже в этой обстановке игры 1940 года могли быть проведены на определенных условиях. Гитлер никак не хотел, чтобы на них в качестве самостоятельной команды была представлена чешская сборная. Однако МОК настаивал на противном. Окончательное решение по «чешскому вопросу» (в его спортивном разрезе) намеревались вынести в июне 1939 года на заседании МОК, которое должно было проходить в Лондоне. До этого же казалось, что Гитлер не был готов пойти на компромисс. Как не покажется странным, но позицию фюрера смог изменить генерал Вальтер фон Райхснау, который в тот момент был членом МОК. Именно он уговорил Гитлера хотя бы на время предоставить чешской команде внешнюю независимость. После этого немецкая делегация могла спокойно направляться на переговоры в Лондон.
Карл Дим уже давно вынашивал планы относительно того, чтобы перенести зимние Олимпийские игры из Санкт-Морица в Гармиш-Партенкирхен. Хотя бы по этой причине жесткие требования Байе-Латура, равно как и весь конфликт, в который оказался втянут МОК, можно рассматривать как цепи одной хорошо спланированной операции. На то, что немецкие спортивные функционеры вели очень хитрую дипломатическую игру, указывает несколько фактов. Когда они уже находились в Лондоне, то до них дошли сведения, что Гитлер отказался от своих слов. Поводом для этого послужило убийство немецкого полицейского. Если бы эти сведения были оглашены, то, вне всякого сомнения, члены МОК не стали бы избирать местом проведения зимней Олимпиады 1940 года Гармиш-Партенкирхен. Немцы решили прибегнуть к обманному маневру. Чтобы отвлечь внимание от Гармиш-Партенкирхена, они стали настаивать на переносе штаб-квартиры Международного олимпийского комитета из Лозанны в Берлин. Это предложение не было принято, но по вопросу о Гармиш-Партенкирхене фактически не было никаких обсуждений. Все это позволяет говорить о том, что к началу 1939 года Карл Дим было не просто спортивным функционером, не просто пропагандистом — он стал своеобразным дипломатом, который проводил линию, выгодную национал-социалистическому режиму.