Если же говорить о реальной деятельности Гиммлера, то сразу же после «ночи длинных ножей» он несколько месяцев кряду пытался добиться максимальной свободы от Геринга, который продолжал оставаться формальным шефом прусского гестапо. В данном случае цели Гиммлера и Геринга расходились. Если Гиммлер пытался превратить гестапо в эффективный инструмент террора, который бы не имел ничего общего с бюрократической волокитой, то Геринг пытался найти способ, как ему было бы проще контролировать Гиммлера. Еще в июне Геринг потребовал от Гиммлера ежемесячно предоставлять статс-секретарю Паулю Кернеру список подозреваемых, которые были задержаны на срок более семи дней. Гиммлер всячески пытался обходить стороной этот приказ. Он предоставил Герингу список заключенных один-единственный раз, и то сделано это было только потому, что 7 августа 1934 года Гитлер решил объявить амнистию. Впоследствии никакой отчетности не было. Недовольный этим Геринг в октябре 1934 года решил еще раз «побеспокоить» Гиммлера. Он издал циркуляр для гестапо, в котором детально перечислял, какие права он оставлял за собой в качестве шефа тайной государственной полиции. К таковым относились: издание общих директив, надзор за внутренним рабочим распорядком, ознакомление с личными делами старших сотрудников и «служебный и дисциплинарный надзор за деятельностью инспектора гестапо». Последнему пункту Геринг придавал особое значение. Он хотел использовать традиционные чиновничьи структуры для контроля над Гиммлером. Кроме этого он отказал Гиммлеру в получении полного контроля над концентрационными лагерями Пруссии.
Геринг прекрасно понимал, что если бы он согласился на это, то государство не смогло бы более хоть как-то влиять на концентрационные лагеря. Однако на практике оказалось, что все распоряжения Геринга оставались лишь на бумаге. Ни одному из прусских чиновников не удалось получить реальную возможность «надзора» за деятельностью гестапо. Видя бессмысленность своих попыток, 20 ноября Геринг передал Гиммлеру пост руководителя гестапо. С этого момента Гиммлер являлся одновременно и инспектором, и начальником тайной государственной полиции. Гиммлеру удалось одержать победу в очередном раунде борьбы за власть.
Усиление власти Гиммлера сопровождалось несколькими организационными процессами, которые шли внутри СС. В первую очередь надо обратить внимание на создание тандема СД — гестапо. Если в 1933–1934 годах Гиммлер использовал СД в качестве инструмента, который помогал ему в борьбе за новые сферы влияния, то после «ночи длинных ножей» эсэсовская служба безопасности должна была выполнять функции, подобающие гестапо. Чтобы избежать взаимной конкуренции, в конце 1935 года Гиммлер выпустил «общие служебные инструкции», которые предназначались как для гестапо, так и для СД. В них отдельным пунктом была прописана необходимость тесного сотрудничества этих двух ведомств.
Желая закрепить свои «завоевания» во властных структурах, весной — летом 1935 года Генрих Гиммлер неоднократно пытался доказать, что его радикальные методы ведения дел были вполне оправданными. Именно в это время он вводит в оборот словосочетание «коммунистическая угроза». К этому времени гестапо и СД была хорошо известна структура коммунистического подполья. Агентам тайной полиции удалось выявить почти все связи оставшихся на свободе коммунистов и проследить их до самого низового уровня. Для того чтобы ликвидировать коммунистическое подполье, нужен был только приказ. Но Гиммлер не спешил с этим — он предпочитал проводить репрессии порционно. Коммунисты становились своего рода инструментом в его руках, так как почти все коммунистическое подполье после очередного разгрома вновь возникало под фактическим контролем гестапо. Одна из таких больших облав должна была произойти именно в середине 1935 года. Она была нужна Гиммлеру, чтобы оправдать сам факт существования централизованного аппарата террора — раз есть враги рейха, значит, были нужны гестапо и СД. На самом деле он никогда не намеревался (по крайней мере до начала Второй мировой войны) полностью ликвидировать так называемое коммунистическое сопротивление. Если бы положение Гиммлера стало шатким, то он в очередной раз мог разыграть карту с «красной угрозой». Аресты более 10 тысяч членов Коммунистической партии, которые были проведены в течение 1935 года, позволили Гиммлеру стать хозяином положения. В феврале 1936 года по его инициативе в Пруссии был принят Закон «О гестапо», согласно которому тайная государственная полиция превращалась в самостоятельный орган власти, который был не только фактически не подконтролен государственным органам власти, но мог задерживать подозреваемых на неограниченный срок.