Фюрер с готовностью ухватился за идею возложить на резервную армию задачу обеспечения внутренней безопасности рейха. Разработка плана «Валькирия» (по иронии судьбы план Штауффенберга тоже назывался «Валькирия») была поручена общему управлению сухопутных войск. В подготовке плана Штауффенбергу помогал Ольбрихт, а затем подключились Фриц Линдеман, начальник артиллерийско-технического управления, Эрих Фельгибель, начальник службы связи ОКВ, Пауйль фон Хазе, начальник берлинской комендатуры, а также группа офицеров из штаба 3-го военного округа (Generalkommando III) в Берлине. Начальником штаба был генерал-майор фон Рост.
На этой стадии еще не было полной уверенности, стоит ли арестовать Гитлера или убить, но избавиться от него следовало немедленно. План «Валькирия» предполагалось использовать для установления режима военной диктатуры, чтобы затем приступить к формированию конституционного правительства на основе свободных выборов. Перед генералом Линдеманом была поставлена задача войти в контакт с командующим резервной армией и его начальником штаба. Эти люди относились к поколению рейхсвера, считались старыми друзьями и просто не могли не прийти на помощь, когда родина оказалась в опасности.
Предметом жарких споров был не только сам Гитлер, но и нацистская система в целом. В числе заговорщиков были демократы, социалисты и баварские легитимисты (приверженцы свергнутой монархии), имевшие различные точки зрения. План обрел конкретность с военной точки зрения благодаря усилиям Штауффенберга, Линдемана, Роста и Трескова. Жена Трескова печатала необходимые секретные распоряжения; в этом ей помогала Маргарет фон Овен, бывший секретарь Фрича и Гаммерштейна-Экворда. Таким образом, кодовое наименование «Валькирия» явилось для заговорщиков прекрасной маскировкой, позволяя в открытую разрабатывать планы по захвату Берлина и других городов после ликвидации Гитлера.
Для реализации основной части плана, захвата Берлина, в распоряжении заговорщиков были части резервной армии, полицейские подразделения Берлина и курсанты военных училищ. Основная трудность заключалась в том, что в численном отношении армия заговорщиков значительно уступала формированиям СС.
Штауффенберг детально изучил диспозицию действующих и резервных формирований ваффен СС, которые вместе с латышской, богемско-хорватской, датско-валлонской и скандинавской насчитывали порядка семнадцати дивизий. Большая часть дивизий СС находилась на фронтах, но были еще и части люфтваффе, которые дислоцировались в Берлине и окрестностях и наверняка выступили бы в защиту нацистского режима даже после смерти Гитлера.
Круг заговорщиков ограничивался штабами резервной армии, армейского командования в Цоссене и в Мауэрвальде. В самом Берлине, помимо уже перечисленных офицеров, следует упомянуть лиц из окружения генерал-майора Остера, таких, как, полковники Георг Хансен и Фрейтаг-Лорингхофен. В Генеральном штабе в число заговорщиков входили генералы Адольф Хойзингер и Гельмут Штифф, начальники оперативного и организационного отделов, друг Штауффенберга, полковник фон Ренне, в 1943 году возглавивший отдел иностранных армий; генерал Фельгибель со своим заместителем генерал-майором Тилем. Ну и конечно нельзя оставить без внимания полковника Мейхснера из штаба верховного командования вермахта.
В группе армий «Центр» фон Тресков упорно пытался склонить на сторону заговорщиков фон Клюге, но тот был ни за, ни против. Клюге соглашался принять участие в перевороте только после ликвидации Гитлера. В группе армий «Север» заговорщики вели переговоры с Кюхлером. Аполитичный Кюхлер мало того что был близким другом Фрича, в 1939 году выступал против бесчинств, творимых эсэсовцами в Польше. В критической ситуации на него можно было рассчитывать.
В группе армий «Юг» ведение переговоров было поручено полковнику Шультце-Бюргеру. Манштейн, прекрасно зная обо всех недостатках Гитлера, был категорически против восстания. Он был уверен, что в разгар войны подобные планы обречены на провал. Герделер встретился с Гудерианом, но получил отрицательный ответ. Гудериан довольно часто был недоволен действиями Гитлера, но считал, что «солдат не имеет права восставать против главнокомандующего во время войны», а уж тем более убивать его.
Зато заговорщики имели серьезную поддержку в лице вышедших в отставку генералов, которые всегда враждебно относились к нацистскому режиму. Это Бек, которого прочили на пост главы нового государства, Витцлебен, предполагаемый главнокомандующий вермахтом, Хопнер и Рабенау.
Фон Рабенау, бывший сотрудник Секта, был начальником архива сухопутных войск. В начале войны он опубликовал биографию создателя рейхсвера, которая, несмотря на то что Рабенау тщательно подбирал выражения, вызвала серьезные разногласия между офицерами Генерального штаба и национал-социалистами. Рабенау попал в немилость к партийным лидерам.