После создания Народного комиссариата оборонной промышленности СССР Б.Л. Ванников был назначен заместителем народного комиссара, а в январе 1939 года возглавил вновь созданный Народный комиссариат вооружения СССР. В первых числах июня 1941 года, за две с половиной недели до начала Великой Отечественной войны, Б.Л. Ванников неожиданно был отстранен от должности наркома вооружения СССР, арестован и находился под следствием во внутренней тюрьме НКВД до августа 1941 года. Незадолго до освобождения ему было предложено подготовить записку И.В. Сталину с изложением своих соображений относительно мер по развитию производства вооружения в условиях начавшихся военных действий. После обсуждения записки у И.В. Сталина Б.Л. Ванникову вручили удостоверение, где было написано, что он был подвергнут аресту по недоразумению и считается полностью реабилитированным. Также в удостоверении было оговорено, что постановлением ЦК ВКП(б) и СНК СССР он назначен заместителем наркома вооружения СССР и должен немедленно приступить к исполнению своих обязанностей.
В конце 1941 года он был снова арестован и сослан в лагеря. Но в феврале 1942 года Б.Л. Ванников был освобожден и назначен народным комиссаром боеприпасов СССР. Это было очень трудное время. Он обеспечивал наращивание производственных мощностей артиллерийской промышленности, создание новых полевых, зенитных и противотанковых артиллерийских систем, минометов, новых образцов стрелкового вооружения, которые, как показала Великая Отечественная война, в большинстве своем превосходили соответствующие образцы немецкой армии. Под руководством Б.Л. Ванникова промышленность боеприпасов изготовила в годы войны и сдала фронту более одного миллиарда комплектов боеприпасов.
Указом Президиума Верховного Совета СССР от 3 июня 1942 года Борису Львовичу Ванникову было присвоено звание Героя Социалистического Труда с вручением ордена Ленина и золотой медали «Серп и Молот».
Борис Львович Ванников стал первым руководителем атомной отрасли.
Советское правительство поручило ученым и инженерам в кратчайший срок создать атомную бомбу. 30 августа 1945 года Б.Л. Ванников был назначен начальником Первого главного управления (ПГУ) и председателем Научно-технического совета ПГУ при СНК СССР, которые были образованы для повседневного руководства организацией атомной промышленности и координации всех научно-технических и инженерных разработок. Это истоки Минсредмаша и нынешней Госкорпорции «Росатом».
Задача была не из легких для страны, которая пережила самую страшную за всю историю человеческой цивилизации войну.
Б.Л. Ванников стоял у истоков зарождения атомной промышленности СССР. Под его руководством были созданы первые атомные промышленные центры страны, проведены разработки и успешные испытания ядерного оружия, заложены основы использования ядерных технологий для выработки электроэнергии и для медицинских и иных народнохозяйственных целей.
Борис Львович вложил в дело становления новой отрасли много сил и умения. Свой богатый опыт он внедрял из «оборонки» в новые отрасли промышленности, внимательно следил за работами не только на производстве, но и в научных коллективах.
По словам академика Ю.Б. Харитона,