С 1920 по 1934 год карьера его была бурной, неспокойной и закончилась тупиковым назначением — командующим крепостью Швай-немунде. До этого назначения молодой офицер, поддержавший 13 марта 1920 года попытку свергнуть веймарский режим, кончившуюся поражением Каппа, убежденный противник нацизма, был отстранен от активной служебной карьеры. Остается неясным, почему Канариса так поспешно задвинули в тень и почему впоследствии на пост главы военной разведки Гитлер назначил своего политического противника?
На первый вопрос ответить проще — симпатия, которую испытывал Канарис к Каппу, не исключала понимания безнадежности попытки переворота. Он это прекрасно знал. Ему пришлось немного посидеть в тюрьме. Приписанный к Генштабу Балтийского флота, он был в 1922 году назначен помощником командира крейсера «Берлин», затем капитаном корвета. Знак судьбы — на крейсере начинал карьеру 18-летний лейтенант Рейнхард Гейдрих.
21 октября 1923 года Канарис находился в Киле, когда старший офицер подполковник Катценер, работавший в Генштабе, вызвал его к себе для беседы и предложил ему работу с военной документацией. Канарис был не против.
18 ноября в присутствии фон Катценера он встретился с фон Бредовым, помощником фон Шляйхера (оба они были убиты 30 июня 1934 года), и изложил им свою политическую концепцию. Канарис стоял за великую и сильную Германию, но не сеющую страх и не стремящуюся к войне. Во имя такой Германии он готов был работать и создать сеть военной разведки мирового масштаба — у него были друзья в Южной Америке, Испании, Турции, нетрудно охватить и другие страны.
9 декабря 1923 года Канарис сообщил фон Шляйхеру о своем согласии и поставил условия: он хотел бы остаться на службе во флоте, а работать в обстановке абсолютной секретности и самостоятельно.
Фон Шляйхер был несколько удивлен, но условия принял.
Затем Канарис взял пятимесячный отпуск и стал готовиться к предстоящей работе. В апреле 1924 года он попросил командировать его в Японию, куда выехал на борту судна «Рейнланд». Судно бороздило моря и океаны в течение шести месяцев, останавливаясь в портах. По пути Канарис завербовал агентов в Греции, Египте, голландской Индонезии, Японии, Южной Африке и привез бесценную информацию. Фон Шляйхер отметил его успехи, назначив в ноябре 1924 года на работу в штаб военно-морского флота в Берлине.
В Берлине Канарис продолжал активную работу, создавая агентурные сети в Румынии, Польше, Чехословакии, Венгрии, Финляндии, Испании и Марокко. Затем в 1928 году он вышел с предложением заменить его временно Катценером, чтобы не вызывать подозрений английской и французской разведок, и был назначен командующим крейсера.
Взлет на вершины власти национал-социалистов его тяготил, вызывал опасения относительно будущего Германии. 17 августа 1928 года, находясь в Берлине, он сказал в присутствии группы офицеров:
Но военное командование не разделяло эту точку зрения — оно считало, что манипулирует Гитлером, обыкновенным агитатором. В 1930 году, когда нацисты получили на выборах 6,5 миллиона голосов избирателей и заняли 107 мест в рейхстаге, вспомнились слова фон Шляйхера, сказанные Канарису, что гитлеровцы вовсе не опасны и что военные крепко держат его в кулаке. Гитлера они прозвали барабаном и надеялись, что вернут эту лошадку в стойло, когда «версальские собаки» перестанут лаять.
Канариса раздражали эти домыслы, он утверждал:
Канарис на этом не успокоился, его отношение к нацистам было непримиримым — он стал противодействовать ячейкам нацистов в армии и Генштабе и открыто выступил против своего будущего начальника генерала Бека. Канарис послал ему очень жесткое письмо: