Сменивший Геринга во главе гестапо Гиммлер, этот «честный Генрих», также выбрался из Берлина вечером 21 апреля. Но если Геринг держал путь на юг со своими грузовиками, нагруженными картинами, то Гиммлер направился к датской границе. Там он надеялся разыграть свою личную козырную карту, вступив без одобрения фюрера в переговоры с западными союзниками.
Это не было случайным решением. Шелленберг уже давно понял, что участь кампании необратимо решена и судьба Германии (в особенности нацистских правителей) может быть смягчена лишь при условии безотлагательных переговоров с победителями. Начиная с августа 1944 года Шелленберг властвовал безраздельно над всеми разведслужбами Германии, получая обширную информацию из всех концов Европы. Его агенты, действовавшие в нейтральных странах, держали его в курсе всех намерений союзников, информировали о предпринимаемых ими шагах. Естественно, собственное будущее и будущее его коллег не виделось ему в радужных красках. Однако эта агентура могла облегчить установление нужных контактов и проведение обмена мнениями, а затем и секретных переговоров. Шелленберг решился «спасать свою шкуру»; чтобы обеспечить себе прикрытие на крайний случай, он посвятил в свои планы Гиммлера, оставив неумного Кальтенбруннера в полном неведении.
Летом 1944 года Шелленбергу удалось встретиться в одном из стокгольмских отелей с американским дипломатом Хьюитом, с которым он обсудил вопрос о возможности переговоров. Первая попытка оказалась безрезультатной, но Шелленберг все-таки рассказал о ней Гиммлеру, который пришел в ярость, но потом согласился с тем, что такие засекреченные контакты могут оказаться полезными. Вслед за тем Шелленберг начал исподволь обрабатывать Гиммлера и добился от него разрешения на заключение определенных соглашений, рассматривая их как операцию по страхованию своей жизни.
В начале 1945 года агент Шелленберга доктор Хеттль, представлявший VI управление в Вене, установил по его указанию контакты в Берне с американским генералом Донованом. Цель состояла в получении согласия американцев на заключение сепаратного мира и образовании германо-американского союза, направленного против СССР. Главным результатом заключения такого союза должно было стать продолжение войны на Восточном фронте совместно с американцами. Ради этого представитель Шелленберга просил ослабить натиск союзников на рейнскую группу армий, чтобы в дальнейшем американцы смогли использовать ее против Советского Союза. Все провалы не могли заставить нацистов трезво взглянуть на положение: они постоянно возвращались к идеям, которые уже безусловно и неоднократно отвергались. Их предложения остались без ответа, несмотря на то что Хеттль снова и снова возвращался в Берн.
Неизвестно, ввел ли Шелленберг Гиммлера в курс своих демаршей или бросал пробные шары на свой страх и риск.
В конце 1944 года в главной штаб-квартире поднимался вопрос о возможности «предварительной» оккупации Швейцарии. Шелленберг и по его настоянию Гиммлер выступили против этих планов и к их рассмотрению больше не возвращались. Шелленберг же продолжал свои переговоры в Швейцарии. Один из его агентов Лангбен установил контакт с представителями союзников, но Мюллер и Кальтенбруннер узнали об этом и начали расследование, поэтому Шелленбергу пришлось пойти на попятную.
Но переговоры, начатые с Жан-Мари Мюзи, бывшим президентом Швейцарской конфедерации, дали положительные результаты. Будучи приверженцем традиций швейцарского посредничества, господин Мюзи прилагал большие усилия, чтобы добиться передачи Швейцарии возможно большего числа евреев-узников немецких концентрационных лагерей, чья судьба казалась неминуемой. Всех их, скорее всего, должны были уничтожить при приближении к лагерям союзных армий. Впервые Гиммлер согласился встретиться с Мюзи в конце 1944 года, а затем еще раз 12 января 1945 года в Висбадене. Он согласился передать некоторое число евреев Швейцарии, которая должна была служить транзитным пунктом для лиц, получивших «разрешение на эмиграцию». Со своей стороны международные еврейские организации, в частности американские, должны были выплатить значительный выкуп. В конце концов пришли к соглашению о том, что два раза в месяц немцы будут передавать 1200 евреев Швейцарии. Это было очень мало в сравнении с десятками тысяч несчастных, которых ждала смерть в гитлеровских лагерях, однако все-таки несколько сотен избегут газовых камер. Первый эшелон с такими узниками прибыл в Швейцарию уже в начале февраля 1945 года, и еврейские организации выплатили 5 миллионов швейцарских франков под поручительство Мюзи. Об этом узнала пресса, и зарубежные газеты предположили, что Швейцария обязалась в порядке компенсации предоставить после войны убежище нацистским правителям на своей территории. Гитлер пришел в ярость и запретил дальнейшую выдачу заключенных.