Чтобы избавить оборонное ведомство от малых и неэффективных производств, к 1934 году число предприятий в двух оборонных главках сократили со 127 до 94, сосредоточив производство на крупных заводах. Среди предприятий, переданных в ведение ГВМУ, были заводы им. Молотова, «Большевик», «Баррикады», «Двигатель» и «Прогресс». В ведении главка оказался также рад заводов, не входивших прежде в оборонную отрасль. Это обусловливалось тем, что производство сложной военной техники требовало координации технологического процесса многих предприятий — так, в производстве только танка Т-26 участвовало 23 завода. В их числе были завод им. Ворошилова, Ижорский завод, «Большевик» и «Красный Октябрь».
Очередной шаг в реформе управления оборонными отраслями был совершен в 1935 году. Единое ГВМУ было упразднено, а его предприятия подчинены двум новым главкам Наркомата тяжелой промышленности — Главному управлению военной промышленности и Главному управлению боеприпасов. В их ведении находилось соответственно 18 и 21 предприятие, а всего оборонная отрасль включала в себя 71 предприятие. В новых главках система трестов была упразднена и сохранялась только в авиастроении, где в состав ГУАП входили: самолетостроительный, моторный и другие тресты, включавшие в свою структуру 24 завода. Реорганизация военной промышленности завершилась 8 декабря 1936 года, когда был создан самостоятельный Наркомат оборонной промышленности.
Однако Сталина не удовлетворили такие преобразования. Он продолжал искать наиболее оптимальный вариант управления оборонной промышленностью, и после Большой чистки в ее структуре произошла новая реорганизация. За два месяца до XVIII съезда ВКП(б), 11 января
— года, НКОП разделили на наркоматы: вооружений и боеприпасов, авиационной и судостроительной промышленности. Теперь Наркомат вооружений, которому подчинялись 25 заводов, включал три главных управления, занимавшиеся производством артиллерийских орудий, военной оптики и патронов. Его наркомом стал Б. Л. Ванников, а перед войной его сменил Д. Ф. Устинов.
Состоявший из четырех ГУ Наркомат боеприпасов руководил выпуском снарядов, авиабомб, пороха и мин. До марта 1941 года его наркомом был И. П. Сергеев, затем — П. Н. Горемыкин. Наркоматом авиапромышленности первоначально руководил М. М. Каганович. Однако в начале
— года, когда за развал работы его отстранили с поста, наркомом стал 37-летний А. И. Шахурин. Первоначально два Главных управления наркомата занимались производством истребителей и бомбардировщиков, но накануне войны создали главк, занимавшийся и капитальным строительством. При его участии было начато сооружение девяти новых авиастроительных и шести авиамоторных заводов. Кроме того, в ведение НКАП в 1940–1941 годах было передано и 60 невоенных заводов.
Перед войной предприятия танкостроения перешли в ведение образованного в 1939 году Наркомата среднего машиностроения, составив особый главк — Главспецмаш, которому подчинялись 12 заводов. В их число входили такие гиганты индустрии, как Сталинградский и Челябинский тракторные заводы. Кроме танков НКСМ занимался также производством автомобилей и сельскохозяйственной техники, но с началом войны большинство предприятий ведомства были переданы новому Наркомату танковой промышленности. В ведении НКСМ остались четыре завода, выпускавшие для армии грузовые и легковые автомобили. Наркомат общего машиностроения, который до войны занимался выпуском оборудования для полиграфии, легкой и пищевой промышленности, в ноябре 1941 года был преобразован в Наркомат минометного вооружения.
Сталин понимал, что предстоявшая война станет «войной моторов». Поэтому перед Наркоматом топливной промышленности поставили задачу увеличить выпуск бензина, авиационного и дизельного топлива к 1937 году вдвое. Одновременно был организован новый трест — «Бензоскладострой», в обязанности которого входило строительство топливных баз для заправки техники в западных районах страны. В годы третьей пятилетки ускоренное развитие получили химическая промышленность и металлургия, особенно производство специальных сталей. Одновременно предпринимались меры по созданию сырьевой базы для добычи и производства чугуна, стали, цветных металлов и минералов.
В результате мероприятий, осуществленных в годы сталинских пятилеток, накануне войны оборонная промышленность могла выпускать более 6 тыс. танков и около 10 тыс. самолетов в год, что в 1,5 раза превышало мощности танковой и авиационной промышленности гитлеровской Германии. В СССР был создан целый комплекс новых видов боевой техники и вооружений. Таких как танки КВ и Т-34, самолеты МиГ-3, Ил-2, Як-1, Пе-2 и др., реактивная установка залпового огня БМ-13 («Катюша»), 76-мм и другие артиллерийские орудия. На востоке страны строились заводы-дублеры, создавались стратегические запасы.