7. В середине XVII века в находившихся здесь деревянных палатах жили перешедшие на службу к московскому великому князю касимовские царевичи, потомки наследников Золотой Орды. Последний из них, Иван Васильевич, в начале XVII века жил уже тут в каменных палатах. После него владение принадлежало князю Алексею Григорьевичу Долгорукову, дочь которого Екатерина была обручена с Петром II. Но бракосочетание не состоялось: 18 января 1730 года Петр II скончался от оспы. В 1742 году домом владеет московский губернатор Николай Петрович Салтыков, затем — его наследники. Во время пожара Москвы в 1812 году это владение не пострадало. В августе 1831 года каменный двухэтажный дом с двумя флигелями покупает у Салтыковых отставной полковник Александр Дмитриевич Чертков, московский губернский предводитель дворянства. Во время войны 1812 года Чертков участвовал в боях и заграничных походах, а в 1828–1829 годах — в войне с Турцией. Поселившись в Москве, Чертков решил полностью посвятить себя изучению русской истории, русских и славянских древностей и собиранию рукописей и книг по истории России. В Москве он познакомился с рядом университетских ученых. В частности, с Григорием Ивановичем Фишером фон Вальдгеймом, дружившим в молодые годы с Гёте, Шиллером, Гумбольдтом. Со временем Чертков стал большим знатоком печатных первоисточников по истории древностей российских. Занимался он и нумизматикой, впервые установил научную классификацию русских монет. Проводил археологические исследования курганов Подмосковья. За труд «Описание древних русских монет» Чертков был удостоен Демидовской премии, деньги передал в Академию наук для издания «Остромирова Евангелия». Описание Чертковской библиотеки по истории России стало настольной книгой историков. Чертков возглавил Общество истории и древностей Российских при Московском университете, члены которого собирались на заседания в его доме. Здесь собирались известные ученые, писатели, бывали А. С. Пушкин, В. А. Жуковский, Н. В. Гоголь, М. Н. Загоскин, Ф. Н. Глинка, М. С. Щепкин и многие другие.
Чертков скончался в 1858 году. Его сын Григорий Александрович выполнил желание отца сделать собранную им библиотеку доступной для общественного пользования. Со стороны Фуркасовского переулка в специальной пристройке был открыт читальный зал. Библиотекарем был приглашен П. И. Бартенев. На средства владельца дома и библиотеки Бартенев стал издавать журнал «Русский архив». Среди читателей Чертковской библиотеки — Л. Н. Толстой, юный тогда К. Э. Циолковский. В 1873 году Г. А. Чертков передает всю библиотеку (около 22 тысяч томов) в Румянцевский музей (ныне она находится в Государственной Исторической библиотеке).
В 1873 году особняк переходит к родственнице Черткова — Наталье Алексеевне Гагариной. Дом был перестроен по проекту архитектора Соколова. Пристройки главного дома стали сдаваться в аренду. В крыле главного здания со стороны Милютинского переулка разместился популярный в Москве магазин семян «Иммер Эрнест и сын». Здесь же помещались «Семенное депо» и правление Российского общества любителей садоводства, редакция журнала «Сад и огород». А. П. Чехов часто посещал магазин Иммера, покупая семена для своего мелиховского сада. Дом был заложен в Московском кредитном обществе, но владелица выкупить его не смогла. В 1880 году дом с торгов приобретает московская купчиха, известная благотворительница Клавдия Никон овна Обидина. Книжные и семенные магазины продолжали торговать, а главный корпус сдавался в аренду. Он был известен не меньше, чем существовавшая здесь Чертковская библиотека. В залах этого особняка в средине 1890-х годов открылись заседания Московского архитектурного общества, где встречались архитекторы, историки, художники. Здесь при деятельном участии Р. И. Клейна была организована и открыта 19 января 1897 года архитектурная выставка, на которой можно было получить информацию о лучших строительных материалах и о том, где можно их приобрести. В 1899 году в залах особняка разместились Литературно-артистический клуб и Литературно-артистический кружок. Перед их переездом архитектор Ф. О. Шехтель художественно оформил главную лестницу дома. Организаторами были А. И. Южин-Сумбатов и Ф. О. Шехтель. Здесь бывали: основатель театрального музея А. А. Бахрушин, основатели Московского Художественного театра В. И. Немирович-Данченко и К. С. Станиславский, артисты А. А. Яблочкина, М. Н. Ермолова, Г. Н. Федотова, В. И. Качалов и многие другие. Писатель Н. Д. Телешов вспоминал о своих посещениях этого художественно-литературного объединения: «Здесь чувствовали себя все как дома, вполне непринужденно, по-товарищески, поэтому нередко среди вечера вдруг составлялся то внезапно концерт, то хор из выдающихся солистов оперы, то беседа, то просто товарищеский ужин».