Ещё во время заграничных поездок он постоянно покупал книги. Библиотека росла быстро, и вскоре появилась необходимость составить каталог, чтобы знать, что есть и что необходимо приобрести. Чертков сам составил и издал описание своей библиотеки – «Всеобщая библиотека России, или Каталог книг для изучения нашего отечества во всех отношениях и подробностях». Кроме рукописей и книг, библиотека пополнялась атласами, планами и видами городов, портретами, эстампами – всем, что имело отношение к русской истории.
Создание уникального книжного собрания стало делом его жизни. Ящики с книгами приходили из Европы до последних дней жизни Александра Дмитриевича. Его библиотеку посещали Александр Сергеевич Пушкин, Василий Андреевич Жуковский, Николай Васильевич Гоголь, актёр Михаил Семёнович Щепкин и многие другие деятели искусства. Пушкину Чертков подарил свою книгу «Воспоминания о Сицилии».
Чертков также принимал у себя композитора Роберта Шумана и его жену, замечательную пианистку Клару Шуман. Кстати, весной 1844 года москвичи впервые приобщились к музыке великого композитора в доме Александра Дмитриевича.
По мнению многих специалистов, из трудов Черткова, посвященных русской истории и археологии, первое место принадлежит, бесспорно, «Описанию древних русских монет». Ведь этот труд положил начало точному, систематическому описанию древних русских монет, дал возможность правильно их систематизировать. До появления этого сочинения в России не было полноценной работы по нумизматике. Как, впрочем, до Черткова в России не существовало и науки нумизматики. Как первый систематический труд по русской нумизматике, «Описание» было удостоено Академий наук полной Демидовской премии. От премии Чертков отказался, передав её в распоряжение академии. Академия напечатала на эти средства Остромирово Евангелие 1056–1057 годов.
Занимаясь исследовательской работой и составлением библиотеки, Александр Дмитриевич успевал уделять внимание и общественной деятельности. Он был председателем Императорского общества истории и древностей Российских, членом Русского археологического общества, действительным членом Императорского московского общества сельского хозяйства, членом попечительного совета заведений общественного призрения в Москве и попечителем работного дома, попечителем временного заведения для праздношатающихся и просящих милостыню в Москве.
Смерть Александра Дмитриевича в 1858 году оставила незавершенными многие труды. Не было выполнено и главное, давнишнее желание Черткова открыть в Москве доступную библиотеку для общественного пользования. Исполняя волю отца, его сын, Григорий Александрович Чертков, в 1859 году пристроил со стороны Фуркасовского переулка новое трёхэтажное здание. Оно было оборудовано всем необходимым для предотвращения гибели библиотеки от пожара.
С 1 января 1863 года первая московская публичная библиотека открыла свои двери на Мясницкой улице. Известно, что один из читателей, граф Лев Николаевич Толстой, в феврале 1864 года подбирал в ней исторические материалы для своего романа «Война и мир».
С 1863 по 1873 год при Чертковской библиотеке издавался журнал «Русский Архив». В 1873 году Григорий Александрович Чертков передает всю библиотеку в ведение города, а городские власти отправляют её в Румянцевский музей. Из Румянцевского музея книги попали в Историческую библиотеку, став её основой.
В 1873 году особняк перешёл к родственнице Черткова – Наталье Алексеевне Гагариной. По проекту архитектора В.И. Соколова дом был частично перестроен.
Тогда же пристройки главного дома стали сдаваться в аренду. В крыле главного здания со стороны Милютинского переулка разместился популярный в Москве магазин семян. Здесь же помещались «Семенное депо» и правление Российского общества любителей садоводства, редакция журнала «Сад и огород».
В 1880 году дом с торгов приобрела московская купчиха, известная благотворительница Клавдия Никоновна Обидина. Книжные и семенные магазины продолжали торговать, а главный корпус сдавался в аренду. Он стал известен не меньше, чем существовавшая здесь Чертковская библиотека. В залах этого особняка в середине 1890–х годов проходили заседания Московского архитектурного общества. Здесь в январе 1897 года открылась первая архитектурная выставка. В 1899 году в залах особняка разместились Литературно-артистический клуб и Литературно-артистический кружок.
После 1918 года дом Салтыкова – Черткова приспособили под «Клуб красных директоров», затем переименованный последовательно в «Деловой клуб» и в «Московский дом научно-технической пропаганды».
До сего дня в доме, который является незаурядным образцом московской дворянской усадьбы XVII века, сохранились уникальные интерьеры. Залы оформлены в разных стилях. Во всех интерьерах дома отделка строится на сочетании дерева с разнообразной штукатурной декорацией (плафонов, стенных панно). Дух классического барокко продолжает жить в стенах особняка.
Дом Петра Петровича Смирнова на Тверском бульваре