Подобно Герингу, Гиммлер тоже исподволь начал вести борьбу с Ремом и его штурмовиками. Используя свое положение руководителя охранных отрядов, он начал планомерно захватывать для своих людей должности префектов полиции в городах Германии. Конечно, СС пока уступали штурмовикам по численности, но они были лучше организованы и расставлены в нужных местах.
Между Ремом и Гиммлером давно возникла глухая антипатия, которая быстро переросла во вражду и яростное соперничество за близость к Гитлеру. Это соперничество привело Гиммлера к мысли о необходимости овладеть всеми полицейскими силами страны.
Взяв под свой контроль полицию фактически всей страны, за исключением Пруссии, Гиммлер обратился с просьбой к Гитлеру и Герингу передать ему полицейскую власть и там. Фюрер поддержал аргументы Генриха: было бы справедливо и своевременно бороться с врагами рейха едиными методами.
Геринг согласился. Наконец нашелся человек, который, как и он сам, был решительным противником Рема и действовал против него весьма ловко. Герману импонировало то стратегическое искусство, с которым Гиммлер осторожно, шаг за шагом проводил операцию по окружению «банды Рема».
В начале апреля Гиммлер был назначен инспектором полиции Пруссии, а в конце апреля стал руководить и прусским гестапо, хотя юридическое право за контролем над этой организацией Геринг сохранял за собой до 1936 года.
Едва Гиммлер обосновался в Берлине, как отделы политической полиции в землях и отделы тайной политическом полиции в Пруссии были объединены в единую тайную политическую полицию рейха, начальником которой стал Рейнхард Гайдрих.
Молодой обер-лейтенант, в апреле 1931 года уволенный с военно-морской службы за проступок, позорящий честь и достоинство офицера, за каких-то три года сделал головокружительную карьеру, сосредоточив в своих руках огромную власть. Высокого роста, с длинным узким лицом, острым носом и косоватыми глазами, он производил странное впечатление. К тому же пронзительно тонкий голос казался необычным для его большого сильного тела, а широкие бедра придавали его фигуре женственные вид. Одной из способностей Гайдриха было умение быстро распознавать слабости других людей, хранить их в своей феноменальной памяти и в нужный момент умело ими пользоваться. Привычка ставить всех окружающих, от секретарши до министра, в зависимость от себя благодаря знанию их слабостей и своему безжалостному характеру, способному на любую подлость, давала ему власть и силу.
Болезненно честолюбивый, он был всегда настороже, никому не доверял, полагаясь исключительно только на себя и свой инстинкт, который побуждал его к самым неожиданным решениям, весьма опасным для окружающих. Очень быстро Гайдриха стали побаиваться не только его подчиненные, но и вся нацистская верхушка и даже сам Гиммлер.
Возглавив центральный аппарат тайной политической полиции, Гайдрих стал государственным чиновником высокого ранга, а сохраняя за собой должность начальника Главного управления безопасности (СД) национал-социалистической партии, он по-прежнему оставался крупным партийным функционером.
Вместе с собой в Берлин Гайдрих взял четыре десятка наиболее квалифицированных криминалистов. В их числе был Генрих Мюллер, ставший позже начальником гестапо.
Позже Гиммлер скажет: «Я думаю, что только я и министр-президент Геринг знают, до какой степени 1933–1935 годах был недееспособен аппарат тайной политической полиции. В ней собрались чиновники, которые, по крайней мере в филиалах, были отнюдь не из лучших. Ведь никакое учреждение не отдаст лучшие свои силы, к тому же в мировоззренческом смысле они были совершенно не подкованы. Чтобы придать им политическую зрелость, мы привлекли в полицию старых борцов из рядов СА и СС, у которых было неоспоримое преимущество – принадлежность к НСДАП. Но часть из них страдает одним недостатком – неумением приспособиться к упорядоченной жизни, к самой примитивной канцелярской работе».
Прагматик Гайдрих быстро понял, что на голой теории политику не построишь, что для слаженной работы всех систем в стране нужны профессионалы и неважно, к какой партии они принадлежали. Он примечает и начинает поддерживать наиболее толковых, энергичных, знающих свое дело криминалистов. Сотрудничество Гиммлера и Гайдриха, крупных партийных руководителей НСДАП с беспартийными специалистами из политической полиции Веймарской республики было вызвано как политической необходимостью, так и методом национал-социалистического движения, пытающегося таким образом утвердить свою власть.
Этот союз представлял беспартийным чиновникам возможность доказать свою преданность новому режиму в борьбе с оппозицией, продемонстрировать свои знания, подавая руководству вовремя советы и исправно выполняя порученные указания.