Ещё в 1935 году адмирал создал совершенно новое направление абвера — контршпионаж… Гелена, как и многих других уважавших начальника абвера офицеров, наряду с религиозностью и верностью офицерской чести, сильнее всего поражала фундаментальная образованность Канариса. Явление редкое среди высших офицеров вермахта. По мнению Гелена, Канарис обладал способностью разбираться во взаимосвязях мирового масштаба: «С этим было связано и его тонкое восприятие развития политических событий, которые он довольно часто пересказывал с поразительной точностью».
Одним из недостатков абвера во Второй мировой войне было отсутствие отдела, который проводил бы анализ и оценку поступающей разведывательной информации. В своей книге Гелен по этому поводу делает следующий вывод: «В результате отсутствия постоянного и систематического анализа с использованием всех имевшихся в управлении материалов агентурные сообщения оценивались слишком высоко».
А ведь сам Канарис был прекрасным аналитиком, но он не мог в одиночку заниматься этой работой. Но самой серьёзной проблемой для Канариса и его организации оказалась борьба службы безопасности (СД) за лидерство, так как адмиралу приходилось постоянно противодействовать этим разведывательным операциям, нередко носившим печать спешки и дилетантства. По мнению Гелена, «он находился в положении обороняющейся стороны, поскольку не имел поддержки со стороны Верховного Главнокомандования вермахта».
В 1942 году Канарис настойчиво предупреждал Гелена о коварстве шефа внешней разведки Шелленберга. Считается, что он «разгадал намерение Гиммлера и его помощников прибрать абвер к своим рукам».
В воскресный вечер августа 1944 года Вальтер Шелленберг получил приказ от обергруппенфюрера СС Мюллера выехать к Канарису и сообщить, что он арестован. Затем увезти его в Фюрстенберг и не возвращаться с ним в Берлин, пока всё не будет выяснено.
А начинался закат карьеры адмирала гораздо раньше. В феврале 1944 года Канариса отстранили от работы после того, как агент абвера Фермерен из Турции бежал в Каир. Гитлер был взбешён. Он велел передать Канарису: «Фюрер в связи с инцидентом с Фермереном распорядился, чтобы абвер был переподчинён Главному управлению имперской безопасности». Но потом был заговор 20 июля 1944 года, который расследовали Мюллер и Кальтенбруннер.
Когда Шелленберг приехал в Берлин-Шлахтензее, Канарис сам открыл ему дверь. Они разговаривали наедине, и шеф политической разведки изложил ему суть дела и характер своего задания.
— Очень жаль, — ответил адмирал, — что нам приходится прощаться в такой обстановке. Однако мы это преодолеем. Обещайте мне честно, что в течение ближайших трёх дней вы обеспечите мне возможность побеседовать с Гиммлером лично. Все прочие — Кальтенбрунер и Мюллер — это просто грязные палачи, жаждущие моей крови.
Как оказалось, в сейфе одного из служебных кабинетов Канариса были найдены две курьерские сумки с компрометирующими документами. Тем не менее его не казнили, а отправили в концлагерь Флоссенбург в Баварии. Лишь в апреле 1945 г. Гитлер отдал приказ о казни адмирала.
Вальтер Шелленберг принял управление военной разведки, функции которого были разделены между 4-м и 6-м управлениями РСХА.
Первый и второй отделы были слиты в «службу МИЛ» (РСХА), третий отдел в сокращённом виде сохранял для вермахта некоторое число специалистов по охране военных тайн, а четвёртый отдел и отдел управления были расформированы.
Как написал Оскар Райле, «дело всей жизни адмирала Канариса было бездумным образом разрушено в ущерб рейху». Но именно такого противника победил СМЕРШ под руководством B.C. Абакумова.
Как отмечается авторами книги СМЕРШ, «только после победы советских войск под Москвой, а затем под Сталинградом возросла активность особых отделов НКВД СССР в борьбе со специальными службами противника. Постепенно складывалась система сбора оперативных данных о немецких разведорганах, их структуре, дислокации и личном составе, о методах их подрывной и шпионской работы, об экипировке и маскировке. Налаживалась и зафронтовая работа особистов».
Например, к середине лета 1942 года НКВД СССР было учтено 36 школ германской военной разведки, функционировавших на временно оккупированной немецко-фашистскими захватчиками территории, и получены данные на 1500 разведчиков и диверсантов из числа военнопленных. На немецкой стороне считали успехом, если из 10 завербованных в спешке агентов хотя бы один выполнял порученное задание. Однако массовая заброска в советский тыл практически необученной и непроверенной агентуры не достигла цели.