В формировании собрания музея приняли участие самые различные слои российского общества. Среди фондообразователей — государственные и общественные учреждения, монастыри, архивы, библиотеки, академии, институты, университеты, издательства. Московская городская дума в 1887 году передала музею Голицынскую и Чертковскую библиотеки, крупные пожертвования поступали от семейств Голицыных, Масальских, Бобринских, Кропоткиных, Оболенских, Щербатовых, Уваровых. Особое внимание уделяли музею меценаты из купеческих фамилий — Бахрушины, Бурылины, Грачёвы, Постниковы, Сапожниковы.
Свыше 300 тысяч предметов, в том числе произведения иконописи, русской живописи XVIII–XIX веков, лицевого шитья, древних рукописей, всех видов прикладного искусства, подарил музею П. И. Щукин. Коллекции охотничьего оружия и пистолетов передал предводитель Нижегородского дворянства А. А. Катуар де Бионкур, рукописей и книг — ярославский купец И. А. Вахрамеев, художественных произведений — И. Я. Дашков.
1920–1930-е годы стали временем передачи в ГИМ коллекций из Государственного музейного фонда и расформированных музеев («Старая Москва», Румяцевский музей, Военно-исторический музей и другие). В 1993 году в связи с ликвидацией Центрального музея В. И. Ленина его коллекции переданы в ГИМ.
В хронологическом отношении коллекции ГИМ отражают историю от палеолита до Новейшего времени. Специфику собрания определяет ориентация на приобретение не только уникальных, но главным образом типовых предметов, «вводящих зрителя в бытовой порядок минувшей жизни» (по определению И. Е. Забелина). Богатейшее собрание хранится в фондовых отделах археологии, нумизматики, дерева, оружия, металла и синтетических материалов, драгоценных металлов, стекла и керамики, рукописей и старопечатных книг, письменных источников, тканей и костюмов, картографии, изобразительных материалов, книжном фонде. Для пополнения фондов регулярно проводятся историко-бытовые экспедиции, закупки на аукционах и у частных лиц.
Для посетителей музей был открыт в 1883 году, в день коронации императора Александра III. Первая экспозиция (11 залов из запроектированных 43) охватывала период с древнейших времён до XII века и имела археологическо-вещеведческую и искусствоведческую направленность. В основу показа был положен тематический план А. С. Уварова. Экспозиция музея была выполнена в соответствии с научными представлениями того времени и выгодно отличалась от западноевропейских музеев географической и хронологической систематизацией материалов. Новацией в музейном деле стала попытка экспонировать памятники по единому научному плану.
Определённый результат для отработки методики экспозиции общеисторического плана дали многочисленные выставки, проходившие в музее начиная с 1880-х годов; среди них — Археологическая (1889), Среднеазиатская (1891), Географическая и археологическая (1892). С 1909 года стало традицией проводить юбилейные выставки, посвящённые писателям, художникам, государственным деятелям, памятным историческим датам.
В 1917 году было открыто ещё 5 залов, экспозиция была доведена до XVI века, хотя в неё были внесены и памятники XVII–XIX веков.
1920–1940-е годы стали временем активных исканий специалистов музея в области методики построения экспозиции. Ориентация на синтетический характер экспозиции (включавшей историко-бытовой материал и интерьерные типологические реконструкции) сочеталась с фондовыми выставками (систематический ряд). Одновременно с подготовкой фондовых выставок «Крестьянское искусство XVIII–XX вв.» (автор В. С. Воронов, 1921–1923), «Автографы государственных деятелей России» (1923 г.), «Византийские памятники» (1924 г.), «История крепостного хозяйства и быта» (1925–1926), «История тканей», «Москва в старинных изображениях» (1926 г.), «Труд и быт рабочего населения Урала» (1926 г.), «История торгового капитала в России» (1929 г.) продолжалась работа по выявлению экспозиционных аспектов показа в общеисторической проблематике.
В 1933 году к 50-летию музея открылась выставка, подводившая итоги его работы за годы советской власти. В ней отразились не только результаты собирательской и научной работы музея, но и итога поиска в области методики построения экспозиции.
В 1937 году была открыта новая экспозиция — от древнейших времён до реформы 1861 года. В её основу был положен тематический принцип, сочетавший исторические реконструкции типологических памятников с подлинными источниками документального, вещевого и изобразительного характера. В связи с размещением на 2-м этаже Пушкинской выставки (1937 г.) историческая экспозиция была «втиснута» в залы 1-го этажа (от археологии до конца XVIII в.).