На следующий день после начала войны, 23 июня 1941 года, Б. М. Шапошников постановлением Совнаркома СССР и ЦК партии включается в состав организованного при Ставке института постоянных советников. 30 июля 1941 года по предложению Сталина был назначен начальником Генерального штаба, членом Ставки Верховного Главнокомандования.
Зная дело Генштаба до тонкостей, Б. М. Шапошников быстро провел ряд организационных мероприятий, способствовавших улучшению работы этого главного рабочего органа Ставки Верховного Главнокомандования. Б. М. Шапошников непосредственно участвовал в разработке в 1941 году плана Смоленского сражения, контрнаступления и общего наступления Красной Армии зимой 1941-1942 годов.
Маршал А. М. Василевский, долго работавший вместе с Борисом Михайловичем, писал уже после войны: "Во время поездок с Шапошниковым в Кремль я имел возможность воочию убедиться, каким высоким уважением пользовался Борис Михайлович у Сталина. Работая в непосредственном контакте с Верховным Главнокомандующим, Шапошников представлял подготовленную Генштабом информацию, высказывал аргументированные предложения, на основе которых Ставка давала затем директивы. Сталин всегда с большим вниманием прислушивался к рекомендациям и мнению Бориса Михайловича. Это, конечно, отнюдь не означало, что Верховный Главнокомандующий всякий раз соглашался с ними. Как мне думается, Сталин особенно ценил Шапошникова за то, что тот никогда не приспосабливал свое суждение по решаемому вопросу к мнению, которое уже складывалось в Ставке. Он умел с достоинством отстаивать свои суждения, если был убежден в их правильности.
Но Сталин знал и другое: если решение принято, Шапошников будет проводить его в жизнь со всей присущей ему энергией вне зависимости от того, совпало оно с его собственной точкой зрения или нет. Личный авторитет Шапошникова, безусловно, благотворно сказывался на процессе превращения Генерального штаба в надежный рабочий орган Ставки Верховного Главнокомандования. По мере того как разворачивались события, Сталин все больше стал придерживаться правила - принимать всякое ответственное решение по военному вопросу лишь после предварительного доклада начальника Генерального штаба" (Полководцы и военачальники Великой Отечественной. М., 1979, с. 62-63).
За годы войны Сталин вместе с Шапошниковым подписал множество оперативных документов командующим фронтами и армиями.
Маршал Шапошников был крупнейшим военным теоретиком. Он всемерно способствовал становлению и развитию советского Генерального штаба как главного органа управления Вооруженными Силами. Подчеркивая большую роль Генерального штаба, Шапошников писал: "Если "оперативный" генеральный штаб можно приравнять к прежнему мозгу армии, то "экономический" и "политический" генеральные штабы должны составить, по нашему мнению, "мозг страны", а "сверхгенеральным штабом" может быть только одно правительство. Одним словом, мы считаем, что руководство подготовкой к войне на политическом и экономическом фронтах должно быть представлено особым органом государства, а не армии, и отнюдь не генеральным штабом. В общем и целом войну подготавливает, ведет ее и несет ответственность за успех или неудачу не генеральный штаб, а правительство, которое или само по себе, или через особый орган (Совет обороны) цементирует подготовку на различных линиях". Опыт Отечественной войны подтвердил правильность этих суждений.
А когда по состоянию здоровья Б. М. Шапошников ушел из Генштаба, его назначили начальником Военной академии Генерального штаба. Сталин по-прежнему часто звонил ему, приглашал на заседания Государственного Комитета Обороны и Ставки.
Б. М. Шапошникову не пришлось дожить до дня Великой Победы. В день похорон на Красной площади в Москве, 28 марта 1945 года, прозвучал приказ Верховного Главнокомандующего Маршала Советского Союза И. Сталина:
"...Армия и флот Советского Союза склоняют свои боевые знамена перед гробом Шапошникова и отдают честь одному из выдающихся полководцев Красной Армии.
Приказываю:
В час погребения Маршала Советского Союза Шапошникова отдать умершему последнюю воинскую почесть и произвести в столице нашей Родины Москве салют в двадцать четыре залпа из ста двадцати четырех орудий".
С большим вниманием, пишет Г. К. Жуков в книге "Воспоминания и размышления", относился Верховный Главнокомандующий к мнению Алексея Иннокентьевича Антонова, даже тогда, когда он не являлся членом Ставки, а временно исполнял должность начальника Генерального штаба.