В июле 1924 года создаётся Объединённый музей декоративного искусства, в который кроме Оружейной палаты, Памятников Кремля и Дома боярина XVII века, в качестве филиалов входят созданные в начале 20-х годов Музей мебели, Музей фарфора и Музей игрушек. Объединённый музей имеет общий Учёный совет, финансирование и делопроизводство, кроме Музея мебели, который сохранил административно-хозяйственную самостоятельность. Организация совместной работы филиалов была крайне затруднительна, каждый из музеев имел свою специфику и, хотя основные проблемы работы музеев рассматривались и решения по ним утверждались на Учёном совете, каждый из них сохранял своё руководство. Так в Оружейной палате вместо заведующего в середине 1925 года вводится должность директора.
Продолжавшаяся политика антикварных распродаж, вульгаризация научно-экспозиционной работы, сокращение музейных площадей в Кремле и, наконец, варварское разрушение кремлёвских монастырей потребовали колоссального напряжения сил от сотрудников музея для сохранения ценностей. Несмотря на это продолжается активная научная работа и в 1925 году издаётся первый сборник научных трудов сотрудников музея. К 1929 г. практически готов так и не вышедший в свет второй сборник.
Искусственно созданное объединение оказалось недолговечным. В 1926 году был ликвидирован Музей мебели. Его коллекции передавались в разные учреждения. В апреле 1928 года Музей фарфора и Музей игрушки получают финансовую самостоятельность и практически выходят из объединения, однако официально Объединённый музей был реорганизован только в июле 1929 года.
Во второй половине 1929 года ситуация в музее становится чрезвычайно напряжённой. С 1 декабря 1929 года освобождается от занимаемой должности директор музея Д. Д. Иванов.
1930-е годы были трагическими в истории музея. Увольняются почти все ведущие научные сотрудники, часть из них подвергается репрессиям. В 1934 году по так называемому «Кремлёвскому делу» был арестован заместитель директора по научной работе В. К. Клейн. После увольнения Д. Д. Иванова на должность директора музея один за другим назначаются люди, не имевшие ни образования, ни навыка музейной работы. Научная работа в музее практически замирает. Доступ экскурсантов в музей, находящийся на закрытой территории Кремля, крайне ограничен, однако работы по реэкспозиции музейных залов в духе новой идеологии продолжались.
В марте 1932 года Государственная Оружейная палата из Наркомпроса передаётся в ведение Комитета по заведованию учёными и учебными учреждениями при ЦИК СССР. Утверждается новый сокращённый штат и структура музея. Филиал Оружейной палаты Дом боярина XVII века передаётся в Исторический музей. В июле 1933 года к Оружейной палате присоединяется мемориальный кабинет В. И. Ленина.
В составе Управления комендатуры Московского Кремля музей практически теряет свою самостоятельность как учреждение культуры. Отсутствие квалифицированных музейных специалистов, прерванные контакты с музейной общественностью, затруднённый доступ экскурсантов превращают музей в хранилище экспонатов.
В марте 1939 года директором Государственной Оружейной палаты был назначен Николай Никитович Захаров. Инженер по образованию, он также, как и его предшественники — директора 1930-х годов, не имел никакого опыта музейной работы. Но его добросовестность, стремление освоить новую профессию помогли ему успешно руководить работой сотрудников музея в очень не простой период его истории. В 1938–1939 годах в музее работает Комиссия по учёту музейного имущества и материальных ценностей Государственной Оружейной палаты и Памятников Кремля. Она отмечает ряд недостатков в постановке учёта и хранения. Под руководством Н. Н. Захарова в 1940 году начинается работа по составлению новых учётных документов.
В июне 1941 года работа была прервана Великой Отечественной войной. Сотрудники музея, при активной помощи со стороны коменданта Кремля генерала Н. К. Спиридонова, спешно упаковали и летом 1941 года эвакуировали сокровища кремлёвского музея в Свердловск. В период эвакуации продолжалась начатая ещё перед войной работа по созданию единой охранной описи всех коллекций музея.
Из эвакуации вещи были возвращены 20 февраля 1945 года, а уже в апреле была открыта первая после войны экспозиция музея.