Непосредственно в самой армии сложилось четыре группы заговорщиков. Объединяло их всех то, что состояли они из офицеров младшего поколения, вставших в оппозицию к Гитлеру лишь после начала войны, во многом благодаря поражениям на Восточном фронте. Первая группа образовалась на советско-германском фронте в штабе главнокомандующего группой армий «Центр», где в битве под Москвой вермахт впервые за всю войну потерпел тяжелое положение. Главой ее стал офицер генерального штаба полковник Хеннинг фон Тресков, ставший впоследствии генерал-майором, его ближайшим помощником — подполковник Фабиан фон Шлабрендорф, а в саму группу входили адъютанты главнокомандующего центральным участком советско-германского фронта фон Харденберг и фон Лендорф.
Вторая группа заговорщиков возникла в штабе командующего армией резерва на Бендлерштрассе в Берлине и стала подлинным организационным центром заговора. Возглавлял ее генерал Фридрих Ольбрихт, а его главным сподвижником был полковник Клаус фон Штауффенберг. Ольбрихт был фактически заместителем командующего резервной армией и благодаря этому распоряжался войсками, расквартированными на территории рейха.
Третья группа, уже, можно сказать, по традиции, возникла в Генеральном штабе сухопутных войск в Цоссене. Ее руководящими деятелями были генерал-квартирмейстер Вагнер, начальник организационного отдела главного командования армии генерал Штифф и генерал Линдеманн. Если офицеры на советско-германском фронте на себе испытывали поражения фашистских войск и были отлично осведомлены о ситуации на передовой, складывавшейся отнюдь не в пользу Германии, то сотрудники генерального штаба сухопутных войск и штаба командующего армией резерва хорошо знали глобальное воздействие хода войны на экономическое и военно-политическое положение Германии, весьма существенно отличавшееся от заявлений официальной пропаганды. Под влиянием статистических данных они все яснее осознавали, что война проиграна, что и побуждало их к активным действиям. Еще одна — незначительная оппозиционная группа сформировалась в Париже, в штабе командующего германскими войсками во Франции. Ее возглавили генерал фон Штюльпнагель и полковник Цезарь фон Хофаккер, двоюродный брат Штауффенберга.
1942 год стал важной вехой в оформлении заговора против фюрера. Именно в это время происходят активные контакты, взаимоопознание и объединение различных оппозиционных групп. Тогда же в общих чертах складывается и примерный план действий, равно как и круг участвующих в них лиц.
О возникновении кружка заговорщиков на Восточном фронте в штабе группы армий «Центр» неугомонный Остер узнал еще в 1941 году от своего друга адвоката Фабиана фон Шлабрендорфа, призванного в армию и попавшего на советско-германский фронт прямо в подчинение полковнику фон Трескову. От своего друга помощник Канариса узнал, что этот полковник готов на самые решительные действия. Отлично зная верность присяге, солдатской чести и беспрекословное повиновение начальству, характерное для немецких офицеров, Тресков быстро понял, что путч в Германии не может удасться, пока жив верховный главнокомандующий Гитлер. Вывод из этого несложного наблюдения для боевого офицера был очевиден: необходимо убить фюрера и тем самым освободить армию от данной ему присяги.
Группа фон Трескова разработала три варианта акта: Гитлера должен застрелить смельчак-одиночка, диктатору подложат бомбу или группа военных внезапно нападет на его ставку. Заговорщики выбрали бомбу, и подполковник барон фон Герсдорф даже достал подходящую взрывчатку. Однако вслед за тем мысль военных натолкнулась на существенное препятствие. Даже если покушение на Гитлера пройдет удачно (что было крайне трудно само по себе), это отнюдь не гарантировало, что готовящийся переворот увенчается успехом и власть в стране не возьмут в свои руки ближайшие сподвижники нацистского диктатора. Жизненно необходимо было после убийства фюрера взять под свой контроль важнейшие центры и подавить сопротивление сил, верных режиму. На примете у Трескова была лишь кавалерийская часть Безелагера — резервный отряд группы армий «Центр», но этого в масштабах Третьего рейха было явно мало.
Заговорщики на Восточном фронте зашли бы в тупик, если бы Остер к этому времени не наладил контакт со второй группой, располагавшейся непосредственно в столице и возглавлявшейся генералом Ольбрихтом. После ряда встреч с главарем оппозиционеров в штабе командующего армией резерва, Ольбрихт и Остер соединили прежние планы путчей 1938―1940 годов с замыслом Трескова, в результате чего родилась новая схема, которая и легла в основу знаменитого покушения на фюрера, состоявшегося 20 июля 1944 года. Штаб-квартирой нового заговора стал в конце марта 1942 года дом находившегося в отставке фон Бека. Ольбрихт планировал использовать в момент путча расположенные в Кельне, Мюнхене и Вене войска.