Он сознает трудности лучше, чем большинство тех, кто в это время замышляет восстание против режима. Вооруженные силы уже в значительной мере больны национал-социализмом. Армия более не свободна от политической инфекции. Официальная версия, что вооруженные силы являются единственным оруженосцем и, наряду с партией, являются равноправным оплотом государства, давно уже стала фикцией. Но факт, что Гиммлер создал втихомолку свои подразделения, был в тот момент еще не самой страшной угрозой независимости армии. В результате введения всеобщей воинской обязанности характер армии коренным образом изменился. Прежнее строение созданной генералом фон Зеектом профессиональной армии подорвано, сотни тысяч молодых людей, которые прошли через гитлерюгенд и военизированную трудовую повинность, введенную национал-социалистами для их целей, принесли в казарму понятие политических, а точнее, политизированных солдат. Еще серьезней было то, что вместе со многими тысячами офицеров, пришедших на службу, наряду с порядочными и ценными элементами проникло в младший и средний офицерский состав большое число убежденных национал-социалистов и, что еще хуже, националистов-карьеристов. Но самым сомнительным кажется Канарису, что и в высшем руководстве намечаются явные признаки размывания непреходящих понятий чести и долга. Быстрый рост численности армии и вытекающий отсюда скачкообразный процесс повышения в должности честолюбивых карьеристов, в то время как компетентные и порядочные люди оттесняются на задний план. Гитлер сознательно стимулирует это развитие посредством дотаций послушным генералам. Поэтому Канарис решается не из личного честолюбия на осуществление вооруженного переворота. Несмотря на все сложности и сомнения он не видит другого пути.
Но здесь одновременно и ответ на вопрос, который в это время, то есть в 1937 году, в первый раз с полной серьезностью встает перед Канарисом, а именно: сможет ли он согласовать со своей совестью дальнейшую службу режиму, не будет ли более честно и в конце концов целесообразнее отказаться от дальнейшего сотрудничества с Гитлером и уйти из вооруженных сил. Это тот же вопрос, который задают себе в эти годы многие офицеры и чиновники, занимавшие высокое положение в Третьем рейхе. Многие просто не принимают это близко к сердцу. Другие с тяжелым сердцем ищут решения. Для Канариса в течение семи лет, пока судьба его не настигла, эта проблема никогда не переставала быть актуальной. Это мучает его с короткими перерывами дни и ночи, это мешает его внутреннему равновесию, это не дает ему буквально сидеть на месте и гонит во все новые служебные командировки, от места к месту, из одной страны в другую. Сейчас, в 1937 году, было бы проще уйти. Позже, во время войны, добровольно уйти будет гораздо сложнее, хотя ловкий человек нашел бы, пожалуй, выход, если бы ему пришло в голову решение уйти со службы. Канарис остался. Две причины были для него наиболее важными.
Он сознавал, что свержение режима может быть осуществлено только людьми, которые занимают влиятельные посты в правительстве и вермахте. Но, кроме того, он считал, что не имеет права сдавать ключевой пост главы разведки, потому что у него нет гарантий в том, что возможный преемник сможет более успешно противостоять проискам гестапо. Наконец, возможно, некоторую роль сыграла мысль, что он обязан и далее обеспечивать необходимое прикрытие для Остера и младших сотрудников, которые вместе с ним ведут неустанную борьбу с партией и СС.
Логическим выводом из этого решения является то, что Канарис в последующий период принимает активное участие в деятельности Остера, направленной на подготовку устранения национал-социалистического господства, и ищет контакты с другими группами Сопротивления; Остер держал его в курсе всего, что он предпринимал в этой области. Кроме того, он с некоторых пор связан с Шахтом, он участвует в обмене мнениями с группой служащих из отдела дипломатической службы, среди них братья Тео и Эрих Кордт, которые со знанием дела и под прикрытием Вайцзеккера стремятся подготовить за границей почву для будущего немецкого правительства, свободного от шлака национал-социализма. Несмотря на многие разочарования он снова на своей работе, чтобы довести до сознания генералов, занимающих высокие ключевые посты, что армия должна взять инициативу по свержению Гитлера. Можно видеть, что из маленькой войны против самых дурных проявлений национал-социализма постепенно развертывается война против режима в целом.