Вернер фон Фрич был назначен командующим сухопутными войсками в 1934 году вопреки воле Бломберга. В армейских кругах циркулировали слухи о том, что Фрич и его начальник штаба Бек, позднее участвовавший в заговоре армейских чинов против Гитлера, возражали против широкомасштабной призывной кампании, однако, несмотря на это, Гитлер продолжал доверять обоим. Слухи эти распространял Гиммлер, а Геринг, который хотел сам командовать армией, был готов ухватиться за любую возможность, чтобы очернить Бломберга и Фрича. Берлин полнился тревожными сплетнями о путче и контрпутче и буквально гудел, как растревоженное осиное гнездо.
Девятнадцатого января 1935 года Бломберг, пытаясь восстановить дружеские отношения с нацистской политической верхушкой, пригласил Геринга и Гиммлера выступить перед верховным армейским командованием в Академии кайзера Вильгельма, но они воспользовались этой возможностью, чтобы дать армии понять, что путч военных будет незаконным. Тем не менее в своем стремлении ублажить Гиммлера Бломберг пошел еще дальше и в следующем месяце пригласил его выступить на собрании армейских офицеров в гамбургском отеле «Четыре времени года». Он не знал, что призыв, хотя о нем еще не было объявлено официально, был уже окончательно согласован, и Гиммлер не преминул отомстить Бломбергу, заявив, что численность СС в военное время должна быть значительно увеличена, чтобы сражаться с врагами на территории Германии, покуда армия будет действовать за границей. Только в этом случае, утверждал Гиммлер, СС сможет спасти страну от предательского удара в спину, какой был нанесен Германии в 1918 году. Говоря же об идеальных людях, зачисленных им в СС, он словно бросал вызов расовой чистоте присутствующих офицеров.
В январе 1935 года Бломберг назначил Канариса шефом военной разведки (абвера), которую Гейдрих, подробно информированный о предшественнике Канариса, хотел включить в СД, хотя тогда это едва ли было реально. Так между Гейдрихом и его бывшим флотским наставником зародились трения, отражавшие различия в подходе к использованию двух разведслужб. Впрочем, подписанное тогда же рабочее соглашение, известное как «Десять заповедей», разграничивало сферы деятельности СД и абвера. Канарису на откуп был отдан военный и неполитический шпионаж, так что внешне дружеские отношения были восстановлены. Гейдрих даже стал снова навещать Канариса дома и играть на скрипке для его жены, но это продолжалось недолго. Адмирал начал опасаться бывшего подчиненного, пользовавшегося неограниченным влиянием на Гитлера, и стал собирать тайную информацию о деятельности Гиммлера и Гейдриха, используя для этого шефа берлинской полиции Хельдорфа и других.
Между тем интересы Гиммлера больше не ограничивались одной Германией. Он все больше думал о немцах, живущих за границей, и в 1936 году заключил с Эрнстом Боле, возглавлявшим зарубежную организацию нацистской партии, соглашение о распространении нацизма за пределами рейха, а также об организации шпионажа, что обеспечивало СД разветвленной сетью зарубежной агентуры. Это бесцеремонное вторжение в сферу деятельности, относившуюся скорее к ведомству Канариса или к министерству иностранных дел, привело к возникновению довольно странного дела о заговоре Тухачевского против сталинского режима, в котором решающую роль сыграли поддельные документы, подброшенные советскому правительству службой Гейдриха.