Следствие по поводу эпизода, когда Канарис помог бежать одному из убийц Либкнехта и Люксембург, казалось, поставило на его карьере крест. Спас Канариса союз с нацистами, которые рвались к власти. Среди поддержавших Гитлера на выборах 1932 года было немало морских офицеров, которым импонировало желание фюрера создать могущественный флот. Канарис, которого устраивала антисоветская политика Гитлера, встал на позиции национал?социализма. Вскоре его назначили командиром линкора «Шлезиен», большинство экипажа которого также не симпатизировало республике. Посему гитлеровский переворот 30 января 1933 года вызвал восторг на борту корабля, а Канарис начал воспитание моряков в духе национал?социализма.
Поссорившегося с собственным начальником контр?адмиралом Бастианом моряка перевели комендантом в крепость Свинемюнде, но вскоре его рекомендовали на пост начальника военной контрразведки — абвера. 2 января 1935 года Канарис приступил к своим обязанностям. Шеф абвера был энергичен и отдавался работе, заставляя крутиться и подчиненных. Он считал необходимым превратить абвер в важнейшую разведывательную службу рейха. Чтобы ликвидировать распри между рейхсвером и СС, Канарис установил тесные отношения с Гиммлером и Гейдрихом.
Абвер почти не располагал агентурой. В первую очередь капитан 1?го ранга создал агентурную сеть в Европе (в Голландии, Бельгии, Северной Франции). Когда германские войска вступили в Рейнскую область, агенты Канариса сообщили, что Франция не собирается начинать войну. Абверовцы устанавливали связи с иностранными разведками и пользовались результатами их действий друг против друга. В работе агенты применяли новые технические средства: малогабаритные радиостанции, съемку объектов в ультрафиолетовых лучах, микрофотографирование. Успехи абвера становились все весомее, что вызвало зависть Гиммлера, ставшего в 1936 году фактическим главой германской полиции. Однако Канарис добился того, что взаимоотношения ведомств уладились, а отношения между фюрером и шефом абвера стали доверительными.
Когда летом 1936 года испанские фалангисты подняли мятеж против республики, Канарис приложил немало усилий, чтобы организовать помощь генералам Франко и Мола со стороны Германии и Италии. Совместная помощь режиму Франко стала основой оси Рим — Берлин, организованной стараниями Канариса. Канарис установил связь с агентурой Японии, умело внедрявшейся в СССР. Страна восходящего солнца вошла третьим членом в Антикоминтерновский пакт, подписанный 25 ноября 1936 года между Германией, Италией и Японией.
В январе 1938 года Канариса произвели в контр?адмиралы; 7 февраля 1938 года он принял руководство управлением при верховном главнокомандующем; сохранив руководство абвером, он должен был руководить также отделами снабжения и внутренних дел. Правда, уже 1 июня его оставили начальником управления «военной разведки и контрразведки», но фактически во главе абвера, в котором организовали зарубежный отдел.
В это время Канарис начинал понимать жестокость гитлеровского режима. Среди его сотрудников оказались люди антигитлеровской направленности. Однако глава абвера, ограничиваясь разговорами с фрондерами, в то же время верой и правдой служил Гитлеру. Он являлся организатором международных военных провокаций и диверсий при захвате Австрии (1938), Чехословакии (1939), нападении на Польшу (1939), создал широкую шпионско?диверсионную сеть по всему миру.
Глава абвера то думал, как спасти мир, то предоставлял Гитлеру информацию, возбуждавшую агрессивность фюрера. Так, известия о намерении Черчилля высадить войска в Норвегии побудили Гитлера 9 апреля 1940 года вторгнуться в Данию и Норвегию. 1 апреля 1940 года Гитлер произвел Канариса в адмиралы, после чего глава абвера вновь требовал от подчиненных добросовестного исполнения приказов фюрера. Абверовцы успешно действовали при вторжении в Бельгию и Голландию, а затем и во Францию в 1940 году. Однако именно в эти месяцы появились первые сведения об антигитлеровских действиях сотрудников абвера, которые адмиралу на время удалось замять.
В 1940 году Канарис договаривался о наступлении испанцев на Гибралтар, но неудача вторжения Италии в Грецию и высадка там английских войск заставили Франко отказаться от Гибралтара. Канарис договорился о примирении Греции с Италией. Однако американский представитель Донован смог переубедить греческое правительство, предложив английскую помощь. Не удалось Канарису опередить Донована и в Югославии, где к власти пришли антигитлеровские силы. А Германии пришлось воевать в 1941 году против Греции, спасая итальянцев, затем в Югославии. Канарис, побывавший в Белграде после налета авиации, был подавлен увиденным и тем, что не смог помочь заключить мир.