Во втором пятилетии военного строительства большое внимание обращалось на развитие Военно-Морского Флота, Военно-воздушных сил и артиллерии. В связи с этим Совет труда и обороны 11 июня 1933 года принял постановление "О программе военно-морского строительства на 1933-1938 гг.", 22 марта 1934 года - "О системе артиллерийского вооружения РККА на вторую пятилетку", а 25 апреля 1935 года утвердил план развития ВВС на 1935-1937 годы.
В условиях роста милитаризации и развертывания массовых армий капиталистических государств, а также обострения международной обстановки территориальная система строительства Красной Армии уже переставала удовлетворять потребности обороны страны. Необходимо было переходить к кадровой системе комплектования. Это настоятельно диктовалось и тем, что с появлением в армии большого количества новой и более сложной военной техники менялись формы и методы боевых действий, использование видов вооруженных сил и родов войск в бою. Чтобы овладеть новым оружием, требовались не кратковременные сборы, а более продолжительное и систематическое военное обучение, которое позволило бы на случай войны развернуть массовую армию и укомплектовать ее военнообязанными высокой квалификации.
Хозяйственные успехи и возросшие экономические возможности страны, проведенные социальные и культурные преобразования позволили ЦК партии и Советскому правительству принять в мае 1935 года решение о переходе Красной Армии от смешанной (территориально-кадровой) системы к единому кадровому принципу комплектования. Суть мероприятий, разработанных Штабом и Главным управлением РККА и представленных РВС СССР на утверждение правительству, заключалась в значительном увеличении за 1935-1938 годы количества кадровых дивизий, в создании смешанных дивизий (состоящих из одного территориального и двух кадровых полков), а также в усилении кадров сохранившихся территориальных соединений.
Перевод к кадровой системе строительства Красной Армии вызвал организационные изменения в органах высшего и местного военного управления. 20 июня 1934 года постановлением ЦИК СССР был упразднен Реввоенсовет СССР, а Народный комиссариат по военным и морским делам переименован в Народный комиссариат обороны СССР (НКО), на который возлагалось руководство всеми видами вооруженных сил и их строительством. В качестве совещательного органа при Народном комиссаре обороны 22 ноября 1934 года был образован Военный совет, решения которого утверждались Наркомом обороны и проводились в жизнь его приказами и распоряжениями.
К концу сентября 1935 года, то есть ко дню переименования Штаба РККА в Генеральный штаб, Наркомат обороны организационно состоял из следующих управлений, непосредственно подчиненных наркому: Административно-мобилизационного управления РККА (комдив А. М. Вольпе); Разведывательного управления (комкор С. П. Урицкий); Управления Морских Сил РККА (флагман флота 1 ранга В. М. Орлов); Управления Воздушных Сил РККА (командарм 2 ранга Я. И. Алкснис); Автобронетанкового управления (командарм 2 ранга И. А. Халепский); Управления ПВО (командарм 1 ранга С. С. Каменев); Управления военно-учебных заведений (комдив Е. С. Казанский), а также Инженерного, Обозно-вещевого, Санитарного, Ветеринарного управлений, Управления продовольственного снабжения, Управления по начальствующему составу (кадров. - М. В.), Управления делами НКО, возглавляемого комдивом И. В. Смородиновым, и финансового отдела во главе с корпусным комиссаром А. В. Хрулевым. Непосредственно наркому подчинялись и инспекции.
Управления артиллерийское, химическое, связи и телемеханики были переданы в непосредственное подчинение начальника вооружений РККА заместителя НКО Маршала Советского Союза М. Н. Тухачевского. Это был, по сути дела, технический штаб, тесно взаимодействовавший со Штабом РККА, а в последующем с Генеральным штабом. Созданный в начале технического перевооружения, он сыграл большую роль в деле реализации двух первых пятилетних планов строительства РККА. В 1936 году должность начальника вооружений была упразднена, а на М. Н. Тухачевского были возложены обязанности по руководству боевой подготовкой Красной Армии.
Упразднение аппарата начальника вооружений было связано прежде всего с тем, что техническое перевооружение, намеченное планом второй пятилетки военного строительства, успешно завершалось и необходимость в жесткой централизации решения вопросов, связанных с оснащением стрелково-артиллерийским и химическим вооружением, техническими средствами связи и телемеханики, отпадала{33}. Вопросы же снабжения армии и флота автобронетанковым, авиационным и морским вооружением решались непосредственно соответствующими начальниками.
Функции аппарата начальника вооружений были переданы во вновь созданное Главное управление вооружения и технического снабжения, имевшее три отдела (мобилизационно-плановый, стандартизации, изобретений) и техническую инспекцию. Хотя оно подчинялось НКО, но свою деятельность осуществляло в соответствии с директивными указаниями Генерального штаба.