Пашков дом выкупила казна для Дворянского института Московского университета. Потом в нем помещалась гимназия. А в 1861 году сюда из Петербурга перевезли библиотеку и коллекцию покойного Николая Петровича Румянцева. На фасаде появилась надпись: "От государственного канцлера графа Румянцева на благое просвещение". И девиз: "Не только оружием". Ему граф следовал, будучи творцом внешней политики России.
Выйдя в отставку, разбитый параличом, почти оглохший "хилый старик", каким он представлялся современникам, собрал сокровища, позволившие создать Румянцевский музей. Его называли "Московским Эрмитажем". Книг и рукописей в библиотеке графа насчитывалось свыше 25 тысяч. Среди них была "Острожская библия" Ивана Федорова, много других первопечатных книг, рукописей.
Каким образом сокровища с берегов Невы попали в Москву? Попечитель Московского учебного округа генерал, герой обороны Севастополя, Николай Васильевич Исаков узнал о переживаемых Румянцевским музеем трудностях в Санкт-Петербурге. Он добился его перевода в Москву, где книгам и картинам был создан, как теперь говорят, режим наибольшего благоприятствования. Городская дума передала музею лучший дом со всеми строениями усадьбы, каждый год выделяла ему из бюджета Москвы три тысячи рублей. Ежегодно поступали деньги мецената Кузьмы Солдатенкова, который завещал музею свою библиотеку и картинную галерею. Так поступали многие известные москвичи: историк Михаил Погодин, философ Петр Чаадаев, бывший министр народного просвещения академик Авраам Норов, обладавший рукописями Джордано Бруно. Английский клуб подарил музею коллекцию старых газет. Библиотека получала бесплатно обязательный экземпляр всей печатной продукции империи.
Дарственные собрания не смешивались, выставлялись в отдельных залах и шкафах, хранили память о дарителях.
Румянцевский музей был организован по типу Британского музея, где всемирноизвестная библиотека помещалась под одной крышей со статуями, археологическими и историческими экспонатами. Александр II пожаловал музею грандиозную картину Александра Иванова "Явление Христа народу", купленную им за 15 тысяч рублей. По его повелению сюда поступила из Петербурга картинная галерея собирателя русской живописи Ф. И. Прянишникова. Эти дары положили начало отделу русской живописи. Император передал двести картин западноевропейских мастеров из фондов Эрмитажа. Они легли в основу раздела западной живописи.
В этнографическом отделе выставлялись манекены, представлявшие все большие и малые народы Земли.
Румянцевский музей открыл двери для всех. Библиотеку посещал Лев Толстой, когда сочинял роман "Война и мир": его интересовали документы московских масонов.
Автограф в регистрационной книге оставил 26 августа 1897 года читатель Владимир Ильич Ульянов, указавший адрес: "Большая Бронная, дом Иванова, квартира 3". Такого домовладельца историки не нашли. То была маленькая "конспиративная" клевета. Первая капля в море лжи, в котором утонул народ, поверивший интеллигентному образованному вежливому человеку, пообещавшему построить государство без частной собственности на средства производства. Спустя несколько лет, по пути в ссылку, Ленин посещал читальный зал Румянцевского музея, собирая материал для монографии "Развитие капитализма в России". Получал вождь отсюда книги, когда поселился в Кремле.
Все это дало основание коллегии Народного комиссариата просвещения после его смерти в 1924 году: "Переименовать Румянцевскую библиотеку в Российскую публичную библиотеку имени Владимира Ильича Ленина". Вслед за этим произошла революция в стенах Пашкова дома. С фасада исчезли надпись "На благое просвещение", графский девиз. Картинную галерею, этнографический отдел закрыли, их фонды передали разным музеям. Дарственные книги смешали с казенными в единый фонд с общим каталогом.
На улице не сохранилось строений допетровской Руси, каменных палат. Москву, возрожденную после пожара 1812 года, представляет на Знаменке, 12, дом, принадлежавший в середине XVIII века графу Петру Апраксину и другим титулованным особам. После перестроек он предстает в образе ампирного особняка. Ионический портик появился в пушкинские времена. К главному дому усадьбы был пристроен деревянный Знаменский театр. В нем давались маскарады, балы, театральные представления. Московский театрал губернский прокурор князь Урусов с компаньоном англичанином Медоксом создали здесь труппу, для которой они же построили на Петровке театр, ставший с годами Большим.