Вступив в должность, Борис Михайлович прежде всего установил деловую связь с Верховным Главнокомандующим. Верховный питал к нему большое уважение, всегда называл его по имени и отчеству, в разговоре с ним никогда не повышал голоса, даже если не был согласен с его докладом. Б. М. Шапошников был единственным человеком, которому он разрешал курить в его кабинете. За десять месяцев пребывания в должности маршал был у И. В. Сталина и в Ставке, которая работала в Кремле, 100 раз, не считая неофициальных встреч на квартире и в особняке на ул. Кирова, 33.
Первые дни войны убедительно показали, что Генштаб распыляет свои усилия на множество различных вопросов. Это не позволяло сосредоточить внимание на оперативной работе по руководству Вооруженными Силами в крайне напряженной обстановке. Потребовалось срочно изменить организационную структуру, передать ряд функций другим управлениям НКО, уточнить обязанности должностных лиц, а также задачи управлений и отделов.
В соответствии с Постановлением НКО № 300 от 28 июля 1941 года из Генштаба были переданы следующие управления: организационное, мобилизационное, укомплектования и устройства войск, устройства тыла и снабжения войск. Вместо отделов, ведающих округами, были созданы направления (кроме внутренних округов), возникли спецотделы авиации, ПВО, связи, оперативных перевозок и другие.
10 августа 1941 года И. В. Сталин утвердил новое Положение о Генеральном штабе. По нему начальник Генштаба объединял деятельность всех управлений НКО с правом давать им указания и распоряжения. Он получил также право отдавать распоряжения в войска от имени Ставки ВГК или по ее поручению.
Постановлением Президиума Верховного Совета СССР, СНК и ЦК ВКП(б) от 8 августа 1941 года было определено, что все приказы Ставки ВГК должны иметь подписи Верховного Главнокомандующего и начальника Генштаба. Именно с этого момента Генштаб стал ее настоящим рабочим органом.
Имея опыт работы начальника оперативного управления полевого штаба РВСР в годы гражданской войны, Б. М. Шапошников сумел наладить работу Генштаба в военных условиях. Перестройка длилась не один месяц, практически захватив вторую половину 1941 и первую половину 1942 года. Проблема, однако, состояла в том, что подобную перестройку нужно было провести еще до войны. В бытность А. И. Егорова на посту начальника Генштаба им неоднократно ставился вопрос о необходимости внесения изменений в структуру ГШ, в результате которых можно было бы без проволочек и хлопот в случае нужды быстро перейти на военное положение. Разработка Положения о службе Генерального штаба должна была завершиться еще к 1 июня 1936 года (Постановление ЦИК и СНК от 10 апреля 1936 года). Тогда, в связи со сложностью и важностью вопроса, военные запросили дополнительное время для его доработки. Члены Политбюро и правительства И. В. Сталин, В. М. Молотов, Г. Орджоникидзе и В. Межлаук удовлетворили их просьбу.
В феврале 1937 года проект Положения был доложен Начальником Генерального штаба А. И. Егоровым Наркому обороны К. Е. Ворошилову. Нарком его одобрил. После этого, в мае, он был направлен на утверждение Комиссии обороны, возглавляемой В. М. Молотовым, однако в обстановке «охоты на ведьм» принят, разумеется, не был.
Вскоре А. И. Егоров был отстранен от должности, а пришедший на его место Б. М. Шапошников не довел до конца дело реконструкции структуры Генерального штаба, что неудивительно, так как в те страшные годы И. В. Сталин просто не желал прислушиваться к голосу военных специалистов. Вот и пришлось заниматься этим важным вопросом уже в боевой обстановке.
Тем не менее перед войной Б. М. Шапошников сделал практически все возможное, чтобы подготовить армию к надвигающейся войне. Еще в 1940 году при разработке нового оперативного плана войны под его руководством был сделан правильный вывод о концентрации основной группировки противника севернее устья реки Сан и в Восточной Пруссии. Справедливо полагалось также, что противник нанесет главный удар в направлении Варшава — Минск — Москва.
В сентябрьском плане 1940 года при С. К. Тимошенко и К. А. Мерецкове эти выводы еще сохранялись, а вот в майском 1941 года, когда в должность начальника Генштаба заступил Г. К. Жуков, приоритеты сменились. Предполагалось, что основная группировка противника сосредоточится южнее Варшавы в районе Люблин — Сандомир — Томашов, нанося главный удар в направлении Киева. Этот вывод, как показала война, был крупным стратегическим просчетом.