Группа высших офицеров, планировавшая отстранение Гитлера и осуществление государственного переворота, существовала в вермахте и абвере с 1938 года. Военная разведка до самого вхождения в РСХА оставалась неким оплотом заговорщиков. Впервые разговоры о смещении фюрера перешли в практическую плоскость накануне раздела Чехословакии. Генералы, считавшие, что Германия не готова к войне с Великобританией и Францией, маячившей на горизонте, 18 августа 1938 года отправили в Лондон эмиссара, чтобы предупредить англичан о намерении Гитлера вторгнуться в Чехословакию, если его требования не будут выполнены. Заговорщики, спланировавшие и осуществившие покушение на фюрера 20 июля 1944 года, были той самой группой недовольных им генералов, которых Гейрдрих и гестапо-Мюллер разыскивали в свое время в связи с чешскими событиями, но так и не смогли найти, что, конечно, говорит не в пользу эффективности немецких спецслужб.
Уже тогда, в конце 30-х годов, в эту группу, которая со временем, конечно, меняла свой состав и расширялась, входили: будущие генерал-фельдмаршалы Эрвин фон Вицлебен и Вальтер фон Браухич, генералы Людвиг Бек, Эрих Гепнер, Франц Гальдер и Вальтер фон Брокдорф-Алефельд, глава абвера Вильгельм Канарис и его подчиненный подполковник Ханс Остер, а также целый ряд гражданских лиц из числа высокопоставленных чиновников различных министерств.
Планы осуществления государственного переворота существовали среди заговорщиков и в начале 40-х годов, но ни один из них так и не дошел до стадии реализации. Поражение под Сталинградом добавило группе мотивации. Еще зимой 1941-42 годов заместитель командующего резервной армией Ольбрихт по распоряжению Гитлера начал работу над планом «Валькирия». Предполагалось, что в случае чрезвычайных ситуаций и внутренних беспорядков (массового саботажа, восстания военнопленных и так далее) армия резерва (около 2,5 миллиона человек) будет поднята по боевой тревоге и сформирует боеспособные группы войск. Эти группы, возглавляемые командующими военными округами, должны будут обеспечить безопасность важных объектов, военных, транспортных и хозяйственных сооружений, центров и линий связи, а затем, действуя согласно дальнейшим указаниям, уничтожать появляющегося противника. Все командования военных округов располагали этим планом, который подлежал введению в силу по условному сигналу «Валькирия». Одновременно Ольбрихт несколько видоизменил разработанный им документ так, чтобы использовать резервную армию в целях осуществления государственного переворота. После устранения Гитлера именно ее военнослужащие должны были, как им изначально и предписывалось, занять ключевые объекты в Берлине, а затем разоружить СС и арестовать прочих руководителей рейха. Командовавшего в тот момент резервной армией генерал-полковника Фридриха Фромма, не входящего в число заговорщиков, предполагалось сместить с занимаемого им поста и назначить на него Гепнера. После устранения Гитлера и подъема по боевой тревоге войск в Берлине и его окрестностях планировалось дать командующим округами, командующим группами армий и армиями первый основной приказ, начинавшийся со слов: «Фюрер Адольф Гитлер убит. Бессовестная группа окопавшихся в тылу партийных главарей пытается использовать эту ситуацию, чтобы нанести удар в спину отчаянно сражающимся на фронте войскам и в своих корыстных целях захватить власть». Заговорщики, полагавшие, что авторитет фюрера в войсках еще достаточно велик, и действия против него могут быть восприняты солдатами неоднозначно, поэтому вину за убийство «первого лица» государства решено было возложить на конкурентов Гитлера из числа его ближайших партийных «товарищей».
Пока заговорщики собирались с силами, гестапо не дремало. В один из их кружков тайной государственной полицией был внедрен агент. В результате, в начале июля 1944 года многие из них были арестованы. Несколько дней спустя, 17 июля, гестапо уже выявило некоторых лиц, входивших во внутренний круг заговора. Времени на дальнейшие размышления не оставалось.
В 1943 году один из примкнувших к изначальной группе недовольных Гитлером офицеров генерал-майор Хеннинг фон Тресков уже предпринимал попытки устранить фюрера, ни одна из которых, впрочем, не увенчалась успехом. Так, 13 марта во время посещения Гитлером Смоленска Тресков и его адъютант, фон Шлабрендорф подложили в самолет фюрера бомбу, в которой не сработало взрывное устройство. Через восемь дней генерал-майор Рудольф-Кристоф фон Герсдорф пытался взорвать себя вместе с Гитлером на выставке трофейной советской техники в Берлине, но тот преждевременно покинул выставку, а фон Герсдорф едва успел деактивировать детонатор.