Быстро ознакомившись с состоянием военного дела, Н. И. Подвойский на очевидных фактах показал местному руководству, что Красная Армия Украины представляет собой конгломерат разношерстных, полупартизанских частей со своими выборными атаманами и «батьками», что Наркомвоен существует только на бумаге, на местах нет ни одного военкомата. Используя опыт РСФСР и опираясь на приехавших с ним из Москвы военных работников, Николай Ильич в считанные дни сформировал аппарат Наркомата по военным и морским делам. Во главе его штаба были поставлены М. А. Соковнин и Б. М. Шапошников. С февраля по май на освобожденной территории Украины было создано 3 окружных, 10 губернских, 88 уездных и 1738 волостных военкоматов. Они поставили на учет более 1 миллиона 800 тысяч человек 22 призывных возрастов, а также более 6 тысяч бывших офицеров и военных чиновников. Было открыто 19 командных курсов, на которых обучалось шесть тысяч курсантов. В условиях непрерывных кулацких мятежей удалось провести несколько мобилизаций, давших 70 тысяч бойцов Южному и 17 тысяч бойцов Украинскому фронтам.
Обстановка на Украине вскоре еще более осложнилась. Началось наступление Деникина, развернулась героическая борьба советских войск, пытавшихся отстоять Донбасс. Вновь резко возрос бандитизм. Банды терроризировали население, заставляли его уклоняться от мобилизации, громили военкоматы. Обстановка в стране требовала военного объединения всех советских республик. 1 июня был обнародован декрет ВЦИК, по которому военные органы республик сливались с соответствующими органами РСФСР. В связи с этим Народный комиссариат по военным и морским делам Украины был ликвидирован, а Николай Ильич отозван в Москву.
В октябре войска Юденича прорвали фронт 7-й армии и приблизились к Петрограду. По решению ЦК РКП(б) для предотвращения готовившегося контрреволюционного восстания и ликвидации шпионских гнезд в Питер выехал Ф. Э. Дзержинский. В качестве уполномоченного Совета Обороны и члена РВС 7-й армии туда же был направлен Н. И. Подвойский.
Вместе с командованием армии большевикам Петрограда удалось укрепить оборону города: опоясать его тремя оборонительными линиями, призвать коммунистов, комсомольцев, рабочих пополнить 7-ю армию, довооружить ее. В конце октября 7-я армия при поддержке Балтфлота и во взаимодействии с 15-й армией перешла в наступление. Противник был отброшен в Эстонию.
По возвращении в Москву Н. И. Подвойский решением ЦК РКП(б) был назначен уполномоченным Совета Обороны и членом РВС 10-й армии, которая вела тяжелые наступательные бои против Деникина на Северном Кавказе. Лишь к началу января по разбитым железным дорогам добрался Николай Ильич до своей армии. По пути, пользуясь правами представителя Совета Обороны, да и своим именем (а оно тогда звучало и громко и грозно), он наводил порядок на железнодорожных узлах, ускорял эвакуацию раненых и тифозных больных, ликвидировал любой беспорядок, свидетелем которого оказывался.
10-я армия после длительных наступательных боев находилась в тяжелом положении. Ее коммуникации растянулись, тылы отстали, не хватало продовольствия, боеприпасов, людей косил тиф. Вновь в полной мере проявилась кипучая энергия Николая Ильича, сразу включившегося в организацию политработы, улучшение снабжения. Здесь ему довелось работать с такими же, как и он, страстными, убежденными бойцами большевистской партии — Г. К. Орджоникидзе и С. М. Кировым. Как уполномоченный Совета Обороны Николай Ильич занимался не только делами армии, но и восстановлением органов Советской власти в освобожденных районах, налаживанием их хозяйственной жизни, работой нефтепромыслов, отправкой хлебных эшелонов в Москву и т. п.
После разгрома войск Деникина, к концу марта 1920 года, Николай Ильич вернулся в Москву, где его уже полгода ждала новая, трудная работа…
В связи с приближавшимся окончанием гражданской войны и неизбежным сокращением Красной Армии резко возросла роль созданного еще в 1918 году Всевобуча (всеобщего военного обучения трудящихся). ЦК РКП(б) принял решение о его реорганизации. По предложению В. И. Ленина и Ф. Э. Дзержинского начальником Всевобуча был назначен Н. И. Подвойский. Николай Ильич высоко оценил доверие партии. Ведь Всевобуч имел свои округа и участки по всей стране, в нем в течение года проходили военную подготовку более 800 тысяч человек. В него были влиты более 50 тысяч бойцов ЧОНа (частей особого назначения). Николай Ильич с жаром взялся за новое дело. Уже в апреле 1920 года он провел I Всероссийский съезд работников Всевобуча, затем осуществил его реорганизацию, добился повсеместного укрепления связей округов и участков с местными партийными и комсомольскими организациями, Советами, вузами, школами.