Только тогда Ольбрихт направился к генерал-полковнику Фридриху Фромму, чтобы подписать у него специальный план «Валькирия», предусмотренный для чрезвычайного положения. Командующий сухопутными силами резерва решил сам удостовериться в смерти фюрера и дозвонился в Ставку. Узнав от генерал-фельдмаршала Кейтеля, что покушение не удалось, Фромм отказался участвовать в заговоре.
В это время в Штаб сухопутных войск прибыли Штауффенберг и Хефтен. На часах было 16:30; с момента взрыва прошло почти четыре часа, а реализация плана «Валькирия» еще не началась. Все участники заговора были в нерешительности, и тогда Клаус фон Штауффенберг снова взял инициативу на себя.
Когда после взрыва рассеялся дым и выяснилось, что Гитлер не пострадал, в «Волчьем логове» стали искать офицера, заложившего бомбу. Поиски быстро дали результат. Шофер, отвозивший полковника и его ординарца на аэродром, заметил, что из окна его машины выбросили какой-то сверток, и доложил об этом службе безопасности. Сверток нашли. Это оказался второй взрывпакет, который Штауффенбергу не удалось снабдить взрывателем. Гитлер и его подручные теперь знали имя своего главного врага.
А в это время в Штабе сухопутных войск стемительно разворачивались события. Штауффенберг и Хефтен вместе с генерал-полковником Беком и другими заговорщиками пошли к Фромму и потребовали подписать план «Валькирия». Фромм уже знал о неудавшемся покушении и вновь отказался. Тогда его арестовали и заперли в соседнюю комнату. Место командующего занял один из заговорщиков, генерал-полковник Гепнер, уволенный Гитлером из армии в 1942 году за отказ выполнить приказ, который генерал считал неправильным.
Штауффенберг не отходил от телефона, убеждая командиров частей и соединений, что фюрер мертв, и призывая выполнять приказы нового руководства — генерал-полковника Бека и генерал-фельдмаршала Вицлебена. Соответствующие депеши были посланы и в войска за рубежом. В Вене и Праге тотчас приступили к выполнению плана «Валькирия». В Париже указание из Берлина восприняли особенно серьезно: там арестовали около 1200 эсэсовцев и сотрудников других служб безопасности. Однако это был последний успех заговорщиков, больше ничего добиться не удалось: слишком неуверенно и хаотично они действовали. Многое из того, что планировалось, в спешке просто забыли сделать. Не взяли под контроль правительственные здания в Берлине, прежде всего Министерство пропаганды, имперскую канцелярию, Главное управление имперской безопасности. Осталась незанятой радиостанция. Планировалось, что генерал Линдеман зачитает по радио обращение восставших к немецкому народу. Но в суматохе, царившей в здании на улице Бендлер, никто не сообщил ему условный сигнал, чтобы начать передачу.
Многие войсковые командиры не торопились выполнять план «Валькирия», стараясь сначала связаться со Ставкой Гитлера. Это удалось, например, командующему группой войск «B» во Франции генерал-фельдмаршалу Хансу Гюнтеру фон Клюге, который потребовал от своих сотрудников не подчиняться приказам из Берлина.
Однако остановить начавшиеся аресты оказалось непросто, и задержанные эсэсовцы до глубокой ночи оставались в заключении. Около 6 вечера военный комендант Берлина Газе, получив телефонограмму Штауффенберга, вызвал к себе командира батальона охраны майора Ремера, сообщил ему о смерти фюрера и приказал держать батальон в боевой готовности. Случайно присутствовавший при разговоре партийный функционер убедил Ремера связаться с гауляйтером Берлина, министром пропаганды Геббельсом, и согласовать с ним полученный приказ. Йозефу Геббельсу удалось установить связь с Гитлером, и тот сразу же произвел Ремера в полковники, поручив ему подавить мятеж любой ценой.
В 8 вечера батальон Ремера уже контролировал основные здания в центре Берлина. В 22:40 рота курсантов военной школы, вызванная заговорщиками для охраны штаба на улице Бендлер, была разоружена, и свежеиспеченный полковник во главе своего отряда ворвался в здание. Клаус фон Штауффенберг успел позвонить в Париж и сообщить, что все кончено, попытка государственного переворота провалилась.
Через пять минут верные Гитлеру офицеры арестовали Клауса фон Штауффенберга, его брата Бертольда, Вернера фон Хефтена, Людвига фон Бека, Эриха Гепнера и других заговорщиков. Освобожденный из-под ареста генерал-полковник Фромм сразу же начал действовать: «Господа, — сказал он, — теперь я сделаю с вами то, что вы сегодня хотели сделать со мной».