В январе 1944 г. взорвалась еще одна бомба, также в непосредственной близости от Канариса. Люди из окружения вдовы бывшего посла Зольфа, куда сумел пробраться гестаповский шпион, были арестованы. Среди задержанных был посланник Кип, который с начала войны работал в управлении разведки по вопросам зарубежья в качестве офицера запаса. Службе СД стали известны связи как с бывшим рейхсканцлером Виртом, жившим в Швейцарии, так и с начальником генерального штаба Гальдером. Одновременно гестапо стало известно, что члены круга были предупреждены графом Гельмутом фон Мольтке, служившим тоже в группе зарубежного отдела в должности советника военной администрации, и капитаном Гере, служившим в третьем отделе разведки, что их телефоны прослушиваются, о чем последние узнали от одного друга, бывшего ранее морским офицером и работавшего в «Службе исследований». Кальтенбруннер, Мюллер и Шелленберг были, таким образом, проинформированы о том, что в разведке несмотря на уход Остера все еще велась работа против них. Тем не менее они и сейчас не начали лобовую атаку против Канариса, хотя Шелленберг в своем неустанном честолюбии продолжал настаивать на концентрации всей политической и военной разведки в его руках Непосредственным поводом для свержения Канариса послужил затем случай, имеющий к нему довольно отдаленное отношение. Служащий турецкого филиала абвера доктор Эрих Фермерен вместе со своей женой, урожденной графиней Плеттенберг, которая приехала в Турцию незадолго до этого, перешел на английскую сторону и уехал в британском самолете в Каир. В СД стали утверждать, что Фермерен передал противнику секретные материалы. Сами супруги Фермерен заявили, что по религиозным соображениям они должны отказаться от дальнейшей службы Гитлеру и возвращения в Третий рейх. Кроме того, важен, очевидно, был и тот факт, что молодая жена Фермерена, которая призналась в своей принадлежности к католическим кругам, участвующим в движении Сопротивления, с полным основанием чувствовала себя под угрозой. Сообщение о переходе Фермерена вызвало в Турции и за ее пределами большой резонанс. Этому примеру последовали другие. Некоторые немцы, в том числе супружеская пара фон Клечовски родом из Австрии, долгое время работавшая на третий отдел абвера в Турции; даже секретарша гестаповского атташе, прикомандированного к посольству, когда ее отозвали в Берлин, вместо того, чтобы уехать, явилась в американское посольство.
Дело супругов Фермерен вызвало у Гитлера приступ ярости, необычный даже для него. Отягчающим вину обстоятельством явился в глазах Гитлера тот факт, что начальник ведомства, где служил Фермерен, капитан запаса доктор Пауль Леверкюн уже давал ему повод для неприятных воспоминаний. Имя Леверкюна прежде упоминалось в связи с речью на собрании сторонников мира, с которой выступил посол фон Папен в день памяти героев 1943 года в Анкаре и которая послужила поводом для жалобы со стороны японского посла Ошимы Гитлеру. Эта речь вызвала широкий отклик в кругах общественности. Действительно, Леверкюн, несмотря на то, что ему было запрещено вести политическую деятельность, при молчаливом согласии начальника первого отдела разведки полковника Ганзена и Канариса, по соглашению с фон Папеном нащупывал возможности для начала мирных переговоров, что было в духе Канариса, но что, как потом выяснилось, вызвало подозрение у гестапо. Гнев, который вызвало у Гитлера дело супругов Фермерен, он перенес через Леверкюна на его начальника Канариса. В ярости Гитлер несколько раз называл имя Леверкюна как типичного представителя Канариса. «Канарис сам, — ругался Гитлер, — виноват в том, что такое свинство могло случиться». Известный наездник и эсэсовский генерал Фегеляйн, который был женат на сестре Евы Браун (что позднее, незадолго до окончания войны, не спасло его от распоряжения Гитлера убить своего «деверя»), взял на себя «честь» предложить по этому поводу Гитлеру, чтобы он «весь хлам», то есть всю разведку, отдал в ведомство Гиммлера. Во всяком случае, Гитлер вызвал Гиммлера к себе и потребовал, чтобы тот немедленно высказал ему свои соображения по поводу создания единой разведывательной службы. Канарис узнал через Кейтеля, что его борьба против СС окончилась победой противника. Кейтель как раз находился в Берлине. Йодль позвонил ему из штаб-квартиры фюрера и сообщил, что «фюрер» в связи с делом Фермерен распорядился, чтобы разведка была передана в главное управление имперской службы безопасности. Это было в феврале 1944 г.
В высших инстанциях службы СС еще имелись кое-какие расхождения во мнении о масштабах того, что нужно немедленно передать в подчинение службе безопасности. Гиммлер и Мюллер были намерены вначале не включать разведку в состав главного управления. По мнению Шелленберга, необходимо было объединить все учреждения зарубежной разведки. Наконец Кальтенбруннер решился предложить Гиммлеру текст распоряжения Гитлера, имевший, по показаниям сотрудников службы СС, следующее содержание:
1. Я приказываю учредить единую немецкую службу информации.