Подготовка Остера к государственному перевороту велась с большой осмотрительностью. Остер и близкие ему сотрудники положили в основу своих планов и исследований книгу с названием «Техника государственного переворота», вышедшую в начале тридцатых годов под псевдонимом Малапарте вскоре после «Захвата власти», запрещенной гитлеровским правительством; кроме того, был сделан очень подробный анализ путча Каппа и ноябрьского путча 1923 г. в Мюнхене и выведено обоснование их правила. Остер — и Канарис, с которым тот часто обсуждал свои планы, был с ним согласен — исходил не из покушения на Гитлера, как это сделали после него Гальдер, а затем инициаторы восстания 20 июля 1944 г. Более того, его концепцией было не убивать Гитлера, а арестовать его и объявить душевнобольным. Канарис и Остер сходились на том, что государственный переворот мог бы удаться только при особых политических сопутствующих обстоятельствах. Чтобы разорвать путы, в которых Гитлер держал большую часть населения, которое отнюдь не было настроено национал-социалистически, нужно было разоблачить лживость его миролюбивых заверений. Следовало убедить немецкий народ, который в преобладающем большинстве желал мира, что Гитлер поставил его на грань войны и что свержение Гитлера преследует непосредственную цель предотвратить эту войну. Заговорщики хорошо понимали, что ожидание момента, когда Гитлер ясно обнаружит свои истинные намерения, было очень рискованным, однако у них не было альтернативы, ведь нужно было избежать кровавой гражданской войны против обманутой части населения.
Некоторое время при разработке этих планов они также обдумывали, не будет ли целесообразным на первом этапе запланированного переворота поставить во главе правительства Геринга, потому что было известно, что «железный» Геринг, по крайней мере в то время, отрицательно относился к идее скорой войны. Это позднее подтвердилось в его позиции как перед мюнхенским соглашением, так и в эпизоде Далеруса в августе 1939 г. С самого начала такая возможность предполагалась только на переходный период с непосредственной целью расколоть в момент переворота национал-социалистические ряды. Однако после обстоятельных размышлений эту мысль пришлось отбросить.
В планах того периода они избежали многих ошибок, которые были совершены позднее, при неудавшейся попытке переворота 20 июля 1944 г. Например, план, разработанный под руководством Остера, предусматривал, что караульный полк Берлина — чтобы не втягивать его без необходимости в столкновение морального характера — будет подключен только тогда, когда они уже будут перед свершившимся фактом. Арест Гитлера следовало произвести как можно более незаметно в рейхсканцелярии. Небольшая группа решительно настроенных молодых людей должна была под убедительным предлогом направиться в рейхсканцелярию, там, не привлекая большого внимания, арестовать Гитлера и как можно скорее, в автомобиле, исчезнуть с ним из рейхсканцелярии и столицы. И лишь после этого начать захват правительственного квартала.
Вторым пунктом плана был предусмотрен захват всех средств связи — телеграфа, телефона и радиовещания — причем в их центральных пунктах, в представительских учреждениях, а если речь пойдет о радио, то радиостанции. Тем самым все партийные и правительственные инстанции, оказывающие сопротивление, будут лишены возможности поддерживать связь друг с другом. Так называемая «сеть А» с ее собственной, независимой от общественных учреждений связью, должна была обеспечивать только заговорщикам возможность передавать сообщения.
Наконец, был подготовлен широкий пропагандистский материал, чтобы с первого мгновения дать населению ясный отчет о причинах и целях предприятия. Так, уже между 1936 и 1938 годами возникла так называемая «Политическая азбука», в легкодоступной форме были изложены понятия и представления национал-социализма. Была разработана временная рейхсконституция.
Канарис принимал в этой подготовке только косвенное участие, велев Остеру регулярно его информировать. Он содействовал работе, однако не был движущей силой. «Только делайте!» — обычно говорил он. Как ни приветствовал он приготовления Остера, но все же не мог удержаться от некоторого скептицизма. Этот скептицизм основывался, прежде всего, на том, что он испытывал большое недоверие к большинству генералов. За исключением генерала Бека, которого он почитал за его ум и сдержанность, в большинстве остальных генералов, которых планировали привлечь для осуществления восстания в случае удачи государственного переворота, он предвидел опасность рецидива в сторону реакции и тем самым развитие событий, которые должны были иметь неблагоприятные последствия как во внутренней, так и во внешней политике.