Структура наркомата была типичной для всех промышленных руководящих органов. В основе своей созданная еще в довоенный период, она сохранялась на протяжении всей войны и длительный срок после ее окончания. Все заводы подчинялись главным управлениям. Главк как бы вмещал целую отрасль вооружения. Основными главными управлениями были артиллерийское, стрелкового и авиационного вооружения, патронной и оптической промышленности, а также главк по управлению строительством.
Главные управления несли полную ответственность за выпуск вооружения, военной техники и другой продукции своими предприятиями, за технический уровень производства, разработку и освоение новых образцов вооружения и техники, за подбор кадров, а также обеспечение заводов материально-техническими и финансовыми ресурсами. Таким образом, главные управления руководили, по существу, всей деятельностью заводов и предприятий. В оборонной промышленности был установлен принцип единоначалия на всех уровнях, поэтому начальники главков ревниво следили, чтобы заводские работники не обходили руководство Главного управления.
Было в наркомате управление, которому подчинялись научно-исследовательские и конструкторские организации, не входившие в систему заводов. Ими ведало техническое управление. Учебные заведения, включая институты и техникумы, подчинялись управлению кадров. Многочисленные конторы снабжения, разбросанные по многим районам страны, входили в управление по материально-техническому снабжению. Было еще плановое управление - одно из самых крупных подразделений наркомата. А потом шли отделы - финансовый, рабочего снабжения,главного механика и другие. Это те подразделения, которые не имели подчиненных организаций на периферии.
Аппарат наркомата был немногочисленным. Главные управления состояли из 40-50 человек. Наиболее крупные - техническое, плановое и материально-технического снабжения - имели по 50-70 специалистов. В отделах, как правило, работало не более 15-25 человек.
Не было необходимости проводить в тот период каких-либо реорганизаций. С началом войны лишь упразднили главк морской артиллерии в связи с тем, что его основные заводы, находившиеся в Ленинграде ("Большевик" и Ленинградский металлический завод) и в Сталинграде (завод "Баррикады"), перешли на выпуск другой продукции, так как прекратилось строительство крупных кораблей для Военно-Морского Флота. Некоторые функции главка были переданы Главному артиллерийскому управлению.
В структуре наркомата подкупало то, что все имели своего "хозяина". В частности, руководство заводов замыкалось на главные производственные управления. В заводской практике возникает почти ежедневно множество вопросов, требующих решения центральных органов. Эти вопросы невозможно перечислить. Они касаются установления плановых показателей, финансирования, внедрения новой технологии, обеспечения оборудованием, испытания новых образцов вооружения и военной техники, разногласий с военной приемкой, вопросов быта и т. д. Каждое требует внимания и может быть правильно решено в том случае, если известна работа любого завода в комплексе. Нельзя, например, давать задания по новой технике, если не знать состояние дел на заводе на сегодня и перспективу в выпуске старой продукции. Трудно решать вопросы нового строительства или реконструкции предприятия, не зная прогнозов на освоение новых образцов вооружения и т. д. Работу каждого завода знал один орган в наркомате - главк.
Главк, который ведал заводами стрелкового и авиационного вооружения, был, как и другие главки, укомплектован квалифицированными, опытными специалистами, показавшими себя хорошими организаторами производства. Почти все они прошли школу в качестве главных технологов или главных конструкторов, а иногда и директоров крупных заводов или других руководящих работников. Они не только знали положение дел на каждом заводе, следили за тем, как идет выпуск тех или иных видов вооружения, но и хорошо помогали заводам в материальном обеспечении, постоянно вникали в работу по созданию и испытанию новых образцов оружия. Специалисты главка участвовали и в наиболее важных мероприятиях, связанных с совершенствованием технологических процессов. Вместе с представителями Военно-Воздушных Сил и Главного артиллерийского управления РККА, которое занималось и стрелковым вооружением, они вникали во все вопросы, возникавшие между заводами и военной приемкой, а также откликались на просьбы, поступавшие от руководителей заводов или конструкторов.