Опасения, которые вызвал у Канариса успех авантюры Муссолини в Абиссинии, очень скоро оказались обоснованными. Вступление гитлеровских войск в демилитаризованную зону Рейна стало ответом на слабую позицию западных держав в отношении Италии. За несколько дней до этого Канарис в беседе с секретарем посольства Эрихом Кордтом, с которым в тот период еще не был в тесном контакте, однако был хорошо осведомлен о его отрицательном отношении к режиму, затронул назревающие события. Не говоря прямо о запланированном вторжении, он неожиданно задал вопрос: «Вы верите в то, что Франция объявит мобилизацию?» Секретарь посольства, к которому обратились таким образом, не выразил своего удивления по поводу такого вопроса; более того, он ответил, что сам сомневается в том, предпримут ли западные державы какие-нибудь меры или позволят ввести себя в заблуждение, выслушивая миролюбивые заверения, которыми Гитлер намеревался сопровождать свою проделку, и удержатся от решительных ответных действий. Канарис признался, что он тоже сомневается в том, будет ли политика Англии и Франции достаточно энергичной; и высказал это мнение при всей осторожности в выборе слов с таким выражением, что после этого разговора у его собеседника больше не осталось сомнений в том, что он говорил с противником этой операции и, более того, с противником системы.
Хотя Канарис отрицательно относился к оккупации Рейнской области в нарушение Локарнского договора, это, однако, не говорит о том, что он не стремился как можно скорее восстановить суверенитет Германии. Но он был убежденным противником гитлеровского метода односторонней отмены договоров, тем более таких, которые и национал-социалистический режим еще недавно признал обязательными для выполнения. Он был убежден, что немногочисленные положения Версальского договора, ущемлявшие равноправие Германии, могут быть в недалеком будущем упразднены путем переговоров. Он опасался, что каждый успех политического насилия будет вдохновлять Гитлера на новые нарушения договора. И, наконец, многочисленные сообщения, которые поступали к нему со всего мира, не оставляли сомнений в том, что эти так называемые внешнеполитические успехи Гитлера дорого обойдутся не только режиму, но и всему немецкому народу в результате потери моральной поддержки и из-за роста всеобщей ненависти к немцам в странах, где такие настроения, вызванные Первой мировой войной, как раз только что начали ослабевать.
В это время Канарису становилось все более ясно, что сопротивление системе является его моральным долгом. Но момент, когда это сопротивление должно было принять форму заговора с целью свержения Гитлера, еще не наступил. Ведь во главе вермахта еще стояли такие люди, как Фрич и Бек; действовать через их голову Канарис чувствовал себя не в праве. Таким образом, это пока еще была маленькая война против пороков системы. Канарис знал о борьбе, которую непрерывно вел Остер против СС и гестапо, и тайно в ней участвовал. Кроме того, он принимал личное участие в гуманитарных мероприятиях. В эти годы многие сотни людей, которых преследовали партия и гестапо — значительной частью из них были евреи, — обязаны были начальнику разведки тем, что могли уехать за рубеж через границы Третьего рейха.
В легковерности, с которой многие иностранцы, занимавшие крупные посты, попадали под влияние пропаганды национал-социалистов, Канарис видел большую опасность. Он старался противостоять ей, приглашая, в свою очередь, из-за границы многих известных людей, которых он считал более или менее наблюдательными, например, в связи с Олимпиадой в 1936 г. и на партсъезды НСДАП, и давал им возможность осмотреться в Германии; он надеялся на то, что они разглядят пропаганду и получат истинное представление о тирании и дилетантизме национал-социализма. Особенно большого успеха в этой области он, однако, не добился.
1936 г. принес события большого значения. 16 июля начался военный мятеж в Испании против народного правительства; причиной мятежа явилось убийство политика правых сил Кальво Сотело, организованное органами полиции, имевшими левую ориентацию. Мятеж перерос в гражданскую войну, которая тянулась три года, завершившись победой генерала Франсиско Франко. На первых этапах борьбы преимущество было несомненно на стороне народного правительства и все окончилось бы кровавым подавлением восстания, если бы Франко не получил поддержку Италии и Германии. Известно, что Канарис играл очень большую роль в оказании помощи со стороны Германии. Это обстоятельство стало исходным пунктом для многочисленных нападок на Канариса. Действительно, на первый взгляд, кажется необъяснимым противоречием то, что Канарис, боровшийся с авторитарным режимом национал-социализма в Германии, всеми силами поддерживал испанский вариант фашизма, не только выполняя приказы своих начальников и Гитлера, но и по личному убеждению.