В результате в музее сформировалось пять отделений: 1) отделение рукописей, 2) библиотека, 3) отделение доисторических христианских и русских древностей, 4) отделение изящных искусств и 5) этнографическое. В первое отделение вошли знаменитое систематическое собрание Ундольского (1419 рукописей и 1037 старопечатных книг), собрания Пискарева (хронографы и летописцы), Большакова (рукописи по старообрядчеству), академика Тихонравова (оригинальная древнерусская литература), Норова (греческие рукописи и единственные в своем роде рукописные неизданные сочинения Джордано Брунно), коллекция С.С. Ланского (рукописи по истории масонства), собрание Скачкова (китайские рукописи) и многие другие по времени вплоть до рукописей Пушкина, Гоголя, Тургенева, Островского, Льва Толстого.
В основу второго отдела легла библиотека графа Румянцева до 28 512 томов. Пожертвования в нее и в дальнейшем вносились целыми собраниями (например, библиотека императрицы Александры Федоровны в 9 тыс. томов, собрания Чаадаева, В.Ф. Одоевского, Солдатенкова и пр.). Ради читального зала внутреннее устройство Пашкова дома переделывается гражданским инженером Н.Л. Шевяковым, который стилизует его в духе александровской эпохи и украшает огромной люстрой и жирандолями.
Для третьего отдела — картинной галереи — тем же Н.Л. Шевяковым строится во дворе, прилегающем к Пашкову дому, двухэтажное музейное здание со специальным залом для переданной городу императором Александром II картины Александра Иванова «Явление Христа народу». Там же экспонируются картины П.А. Федотова, богатейшее собрание русской живописи первой половины XIX в. Ф.И. Прянишникова, подаренное в 1867 г., коллекции К.Т. Солдатенкова, И.П. Свешникова, Н.А. Львова. Иными словами, сокровища города стали доступны москвичам намного раньше собрания Третьяковской галереи и тем более Музея изобразительных искусств. Начало собранию старой западноевропейской живописи в Москве было положено картинами, переданными Румянцевскому музею из Эрмитажа. Пополненные многочисленными дарениями москвичей, они и составили основу коллекции сегодняшнего нашего ГМИИ им. А.С. Пушкина.
Четвертый отдел составлял богатейший в России Этнографический музей. В 1867 г. в Москве прошла Всероссийская этнографическая выставка, организованная Обществом любителей антропологии, естествознания и этнографии при Московском университете. Средства для выставки были предоставлены В.А. Дашковым. По окончании экспозиции все экспонаты перешли безвозмездно Румянцевскому музею, причем сам Дашков долгое время оставался директором отдела.
В 1913 г. здесь открылся зал им. Ф.П. Рябушинского, предназначенный для размещения коллекции, собранной Камчатской экспедицией Русского географического общества, которая была профинансирована этим меценатом. Этнологический отдел экспедиции вел известный ученый В.И. Иохельсон. Собранные им в течение 1908—1911 гг. коллекции были в полном составе пожертвованы вдовой ученого Румянцевскому музею.
Следующей по времени открытия для москвичей стала, как ее называли с момента основания, Московская городская художественная галерея Павла и Сергея Третьяковых (Лаврушинский пер.), бесплатная, открытая ежедневно, даже с бесплатным гардеробом, на чем специально настаивали городские власти.
Как известно, П.М. Третьяков начал собирать картины около 1856 г., а в августе 1892 г. принес собрание в дар городу от своего имени и имени покойного брата. После смерти жертвователя в 1898 г. — до этого времени П. Третьяков состоял попечителем галереи — заведование ею перешло к избираемому Городской думой совету, во главе с попечителем. Последним эту функцию исполнял художник, писатель, историк русского искусства, архитектор и блестящий реставратор Игорь Грабарь. В состав совета вошли дочь Третьякова — Вера Павловна Зилоти, архитектор Р. Клейн, один из известнейших собирателей русской живописи врач-педиатр А. Ланговой и князь С. Щербатов. Хранителем был Н.Н. Черногубов.