После благополучного возвращения Канариса перевели в подводный флот, а через несколько месяцев стажировки он стал преподавать в школе подводного плавания. В 1918 г. его назначили командиром подводной лодки, в июле 1920 г. — первым заместителем начальника абверштелле (военной контрразведки) на Балтийском море. В середине 1923 г. Канарис служит первым помощником командира крейсера «Берлин».
С мая по октябрь 1924 г. его направляют в Японию для ознакомления со строительством подводных лодок концерном «Кавасаки» по немецким проектам. Затем он референт в штабе начальника управления ВМФ в министерстве рейхсвера, часто посещающий Испанию, Голландию и Финляндию. Но летом 1928 г. Канариса снова переводят первым помощником командира линкора «Шлезвиг» и производят в капитаны 2-го ранга. Осенью 1932 г. его назначают командиром этого корабля и производят в капитаны 1-го ранга.
После прихода Гитлера к власти Канарис получает тупиковую должность коменданта военно-морской крепости Свинемюнде. И только в 1935 г. его назначают начальником абвера (в 48 лет).
Впервые перед начальниками отделений абвера предстал неброский и неряшливый шеф. Один из участников обрисовал его следующим образом: «Невысокий, уже сильно потрепанный жизнью моряк с седыми волосами, кустистыми бровями и усталыми глазами. Вступительное слово, явно выдержанное в нацистском духе, он зачитал по бумаге…»
Но пройдет всего немного времени — и Канариса начнут уважать… «В Канарисе, наряду с его религиозностью и верностью офицерской чести, пожалуй, сильнее всего поражала фундаментальная образованность — явление довольно редкое среди высших офицеров. В нем было многое от идеалов и воззрений первой половины девятнадцатого века, которые способствовали выдающимся офицерам прошлого — таким, как Роон, фон дер Гольц, граф Йорк фон Вартенбург, а также Клаузевиц и Мольтке, — достичь высоких научных вершин, далеко выходящих за узкие рамки военного дела. Наряду с широкой и глубокой образованностью, Канарис, в отличие от многих флотских и армейских офицеров, не видевших абсолютно ничего за пределами Северного и Балтийского моря и границами Германии, обладал способностью разбираться во взаимосвязях мирового масштаба. С этим было связано его тонкое восприятие развития политических событий, которые он довольно часто пересказывал с поразительной точностью. Правда, в этой области он не находил достойных собеседников — за исключением разве Фрича, Браухича, Бека и Гальдера, — которые были бы способны серьезно воспринимать его суждения. Неудивительно, что Канарис уже в начале военных действий против России серьезно оценивал сложившуюся обстановку, а также перспективу благополучного для Германии исхода войны. Вот почему ему особенно тяжело было видеть, что руководители немецкого государства скептически относились к его прогнозам и отводили ему роль неудавшейся современной Кассандры», — вспоминал о нем начальник отдела «Иностранные армии Востока» генерал Рейнхард Гелен.
В 1938 г. на базе контрразведки рейхсвера было создано управление абвер-заграница при штабе Верховного Главнокомандования вооруженных сил (ОКВ). Управление состояло из следующих отделов:
Абвер-1 занимался сбором развединформации об иностранных армиях и флотах, подготовкой агентов-радистов, радиоперехватом, изготовлением документов прикрытия и оперативной техники;
Абвер-2 — подготовкой диверсионно-террористической агентуры и заброской ее в тыл противника, разработкой и изготовлением средств террора и диверсий, организацией национальных легионов, созданием из немцев, проживающих на территориях стран-противников, спецформирований для захвата стратегически важных объектов. В распоряжении абвера-2 находились специальные воинские формирования: дивизия «Бранденбург-800» и полк «Курфюрст»;
Абвер-3 — контрразведывательной работой в вооруженных силах Германии, военно-административных и военно-хозяйственных учреждениях и на объектах оборонного значения;
Иностранный отдел абвер-заграница — изучением экономики и внешней и внутренней политики иностранных государств на основе сведений, получаемых от военных атташе, МИДа и других официальных учреждений за границей; разработкой вопросов взаимодействия германской армии с армиями других стран; изучением международной печати и радиовещания;
Центральный отдел — комплектованием кадрами; обеспечением материальными и финансовыми средствами, разработкой мобилизационных планов органов абвера на военное время.
Абверштелле являлись основными звеньями абвера и вели практическую контрразведывательную и диверсионную работу против СССР при каждом военном округе. Они подчинялись соответствующим отделам управления абвер-заграница и согласовывали свою работу с (отделами «1-Ц») разведотделами штабов военных округов.
Примечательно, что несмотря на стремление. Гитлера «не допустить чрезмерной концентрации власти и силы в одних руках», Канарису удалось «взять в свои руки задачи разведки и контрразведки для всех видов вооруженных сил и включить их службы в свою, не вызвав при этом никаких серьезных противоречий с ними».