Рема, начальника штаба СА, численность которых выросла к этому времени до 2, 5 миллиона, не удалось нейтрализовать ни с помощью жеста, который сделал Гитлер, назначив его членом кабинета, ни с помощью дружеского письма, посланного ему лично фюрером по случаю новогоднего праздника. В феврале он представил кабинету пространный меморандум, в котором предлагал рассматривать СА как основу новой народной армии, в которую кроме СА вошли бы части СС, рейхсвера и объединения бывших фронтовиков. Все эти формирования, согласно проекту, должны были подчиняться единому министерству обороны, главой которого, как легко догадаться, рассчитывал стать Рем.
Ничего более отвратительного, чем эта идея, офицерский корпус не мог себе представить. Его старшие чины не только единодушно отвергли это предложение, но и обратились за поддержкой к Гинденбургу. Рухнули бы все традиции военной касты, если бы армия вдруг оказалась под контролем хулигана Рема и его неотесанных коричневорубашечников. В добавление ко всему генералов потрясли слухи, получившие широкую огласку, о коррупции и оргиях гомосексуалистов, практиковавшихся среди окружения шефа СА. Как показал впоследствии генерал фон Браухич, "перевооружение было слишком серьезным и сложным делом, чтобы подпускать к нему казнокрадов, пьяниц и гомосексуалистов".
В то время Гитлер не мог позволить себе обидеть верхушку армии поэтому он не поддержал проект Рема. 21 февраля он доверительно сообщил Антони Идену, приезжавшему в Берлин обсудить тупиковую ситуацию, сложившуюся в связи с проблемой разоружения, что готов сократить численность СА на одну треть и допустить инспекторов, которые могли бы проверить, не получают ли остальные две трети оружия и не проходят ли военное обучение. Когда сведения об этом обещании Гитлера стали известны Рему и другим главарям СА, они ожесточились еще сильнее. С приближением лета 1934 года отношения между начальником штаба СА и высшим командованием армии значительно ухудшились. На заседаниях кабинета происходили громкие скандалы. В марте министр обороны заявил Гитлеру протест по поводу того, что СА, не имея на то права, вооружают тяжелыми пулеметами многочисленный отряд специальной штабной охраны. Фон Бломберг добавил, что это представляет угрозу не только армии, но и осуществляемой под руководством рейхсвера тайной программе перевооружения Германии, поскольку командование СА действует открыто.
Очевидно, что в этих условиях Гитлер в отличие от своевольного Рема и его подручных не мог не думать о близком конце слабеющего Гинденбурга. Он знал, что престарелый президент, армия и другие консервативные силы Германии настроены в пользу восстановления монархии Гогенцоллернов. У него же были другие планы, и в начале апреля, когда ему и Бломбергу сообщили из неофициальных, но надежных источников в Нейдеке, что дни президента сочтены, он понял: приближается момент решительных действий. Для успеха предприятия ему требовалась поддержка офицерского корпуса; ради этой поддержки он готов был пойти на все.
Вскоре случай для секретных переговоров с военными представился. 11 апреля канцлер в сопровождении генерала фон Бломберга, командующего армией генерала фон Фрича и командующего военно-морскими силами адмирала Редера отправился на крейсере "Дойчланд" из Киля в Кенигсберг на маневры у берегов Восточной Пруссии. Сообщив командующим армией и флотом об ухудшающемся состоянии Гинденбурга, Гитлер с согласия Бломберга без обиняков предложил на пост нового президента себя, если на то будет благословение рейхсвера. В обмен на поддержку военных Гитлер обещал отклонить претензии Рема, резко сократить численность СА и гарантировать рейхсверу положение единственной вооруженной силы в третьем рейхе. Кроме того, как полагают, он заверил Фрича и Редера, что в случае их поддержки развернет обширную программу развития армии и флота. Разумеется, Редер, склонный к угодничеству, тотчас согласился. Что касается Фрича, то он, как человек менее сговорчивый, пожелал сначала посоветоваться со старшими генералами.