В 1936 году он переселился с семьей в Берлин и стал жить в двухэтажном особняке на Доллерштрассе, неподалеку от дома, где жил Гейдрих. Формально они не ссорились. Канарис был умен и не хотел восстанавливать против себя опасного Гейдриха. Они обменивались семейными визитами. Госпожа Эрика Канарис, знавшая Гейдриха с 1924 года, когда он служил кадетом на крейсере «Берлин» под началом ее мужа, как и Гейдрих, увлекалась игрой на скрипке. Теперь Канарис и Гейдрих в профессиональном плане стали соперниками, но внешне они не подавали вида, чтобы не огорчать жен.
Когда Канарис переселяется на виллу Шлахтензее, Гейдрих поселяется в том же районе. Теперь они придерживаются прямо противоположных взглядов на перспективы войны с СССР и относительно военного потенциала русских. Оба борются — Канарис за то, чтобы оттащить Германию от гитлеровского сумасшествия, Гейдрих обуян мечтой стать первым человеком нового режима. Но перед лицом смерти старые противоречия забыты — на похоронах Гейдриха, убитого в Праге в июне 1942 года, Канарис произносит трогательную речь. Биограф адмирала Абсхаген пишет:
Сотрудничество между СД и вермахтом
Были и другие проблемы. В конце апреля Гейдрих пригласил Шелленберга на обед в дом Гиммлера.
Глава службы СС, окруженный советниками, встретил гостей радушно, заявив, что в предстоящие недели им предстоит много работы. Но в основном говорил Гейдрих о будущей военной кампании против Советского Союза. Сказав, что Гитлер абсолютно верно видит общую ситуацию, отдавая отчет в неудаче воздушных боев против Англии и в опасности, которую представляют для Германии США, Гейдрих заявил, что Германия властвует в Европе. В течение 18 месяцев атаки со стороны Англии не будет, поэтому надо воспользоваться моментом и начать наступление на СССР, чтобы избежать войны на два фронта. Конфликт с Россией неминуем, Сталин, со своей стороны, готовится к войне. Поэтому важно не упустить благоприятного момента. И он вот-вот настанет.
Гитлер объявил России тотальную войну, в которой должны быть задействованы и армия, и службы разведки, и полицейский аппарат. Гейдрих объяснил своей спецслужбе директивы фюрера — секретные службы и полиция должны прежде всего бороться с диверсиями и разведкой противника и защищать коммуникации, соединяющие Германию с Россией.
На практике это означало как для СД, так и для абвера, что впервые сотрудники этих служб попадут на фронт и что персонал, находящийся в Берлине, будет сокращен до минимума.
На следующий день была назначена встреча Вагнера и Шелленберга. Шелленберг уточнил у Гейдриха, как он должен вести эти переговоры, чьи интересы защищать.
Это был деликатный вопрос — как не попасть под полный контроль вермахта, и в этом глава СД принял точку зрения Вагнера, а не Мюллера: