Выдающуюся роль в преодолении всех возникавших трудностей играла возглавляемая Н. И. Подвойским Всероссийская коллегия по формированию Красной Армии, членами которой были Н. В. Крыленко, К. А. Мехоношин, В. А. Трифонов и К. А. Юренев. Она с первого же дня работала под пристальным вниманием В. И. Ленина. «Руководство В. И. Ленина было настолько всесторонним, — писал Н. И. Подвойский, — что Всероссийская коллегия фактически являлась военным аппаратом председателя СНК».
Для оказания помощи местным органам власти в привлечении добровольцев в Красную Армию Всероссийская коллегия создавала курсы, подготовившие к началу апреля 398 агитаторов-организаторов.
Новая армия требовала новых командиров. Еще в декабре 1917 года по инициативе Н. И. Подвойского и Е. М. Ярославского была сформирована 1-я Московская революционная пулеметная школа (ныне МВОКУ имени Верховного Совета РСФСР). 14 февраля 1918 года Николай Ильич подписал приказ об открытии 13 командных курсов в Москве, Петрограде, Твери и других городах. Н. И. Подвойский участвовал в формировании органов управления авиацией, создании Совета Броневых частей, Автотранспортного отдела Красной Армии.
В. И. Ленин считал, что для строительства Красной Армии нужен мир или хотя бы мирная передышка. Главными противниками заключения мира были выступавшие за «революционную войну» «левые коммунисты», а также Троцкий, который, возглавляя советскую делегацию на переговорах в Бресте, вопреки директивам ЦК и СНК сорвал подписание мира. Германские войска по всему фронту, простиравшемуся от Риги до Дуная, перешли в наступление. Основной удар направлялся на Петроград. Остатки частей старой армии, бросая военное имущество, покатились в глубь страны. В первые же два дня были сданы Двинск, Минск, Луцк, Ровно… 21 февраля СНК объявил: «Социалистическое отечество в опасности!» Был создан комитет революционной обороны Петрограда во главе с Я. М. Свердловым. В руководящее бюро комитета вошел Н. И. Подвойский.
Развернулась спешная, экстренная мобилизация всех сил на отпор германскому нашествию. Николаю Ильичу, кроме того, пришлось заниматься и оперативным руководством действиями войск.
Наступление противника удалось остановить к 23 февраля. В этот день в Петрограде под рев заводских гудков на многочисленных митингах шла массовая запись добровольцев в Красную Армию. С 1919 года и до настоящего времени этот день празднуется как День Советской Армии и Военно-Морского Флота.
Борьба с наступлением германских войск показала, что необходим единый орган не только формирования Красной Армии (чем занимался Наркомат по военным делам), но и оперативного руководства ее боевой деятельностью. В начале марта СНК по инициативе В. И. Ленина образовал Высший Военный Совет. Военным руководителем его был поставлен генерал М. Д. Бонч-Бруевич. Н. И. Подвойский стал членом совета.
Высший Военный Совет с помощью старых военных специалистов разработал план развертывания полуторамиллионной армии из всех родов войск, построенной по единым штатам. В апреле ВЦИК и СНК приняли декреты о создании в волостях, уездах, губерниях и округах военных комиссариатов, об обучении населения военному делу…
Для ускорения формирования военкоматов и Красной Армии, контроля за выполнением апрельских декретов ВЦИК и СНК по вопросам военного строительства 24 апреля 1918 года была создана Высшая Военная Инспекция (ВВИ). В. И. Ленин и Я. М. Свердлов считали, что ВВИ должен возглавить преданный революции партийный работник, знающий военное дело, имеющий опыт военно-организаторской работы и авторитет в массах. Председателем ВВИ был назначен Н. И. Подвойский. Он был наделен чрезвычайными полномочиями представителя ЦК, ВЦИК, СНК, Наркомвоена с правом самостоятельно издавать приказы по Красной Армии, назначать и смещать в ней должностных лиц. Его доклады, выводы и предложения при необходимости могли адресоваться в ЦК, ВЦИК и СНК непосредственно или через Наркомвоен.
На следующий же день после назначения Николай Ильич подписал приказ об инспектировании военной работы в Орле и других городах. Поезд ВВИ отбыл из Москвы. Замелькали города: Орел, Брянск, Ртурск, Рязань, Саратов, Сызрань, Уфа…