После кончины Черкасова в 1758 г. участок со строением переходит по наследству детям, скорее всего, старшему сыну Александру Ивановичу Черкасову, ставшему позднее президентом Медицинской коллегии. В 1759 г. он женится на Гедвиге Елизавете Бирон – дочери Э. И. Бирона, гостившего однажды в доме Черкасовых.
В 1762 г. дом покупает казна, но как его используют, нам неизвестно. Он обретает хозяина в 1785 г. – императрица Екатерина II дарит постройку обер-гофмаршалу и президенту Придворной конторы Григорию Никитичу Орлову, который приходился двоюродным братом фавориту государыни Григорию Григорьевичу Орлову.
С конца XVIII в. собственницей дома выступает графиня Екатерина Петровна Шувалова, но затем права на постройку переходят к купцу 1-й гильдии Алексею Петровичу Жадимеровскому, который его перестраивает в стиле раннего классицизма. В течение XIX столетия здание еще несколько раз перестраивалось.
Центральная часть трехэтажной постройки выделена ризалитом и украшена шестью пилястрами на уровне второго и третьего этажей. Первый этаж декорирован рустом. Прямоугольные оконные проемы второго этажа дополнены наличниками и простыми сандриками, наружные подоконники поддерживают консоли. Пространство под окнами третьего этажа заполнено повторяющейся лепниной, окна первого этажа выделены замковыми камнями. Над высокими арочными проездами во двор, расположенными в боковых частях здания, устроены балконы с чугунной решеткой ограждения.
В большом внутреннем дворе дома Волконских находится и вход в здание. Здесь же сохранились конюшня и каретный сарай, сооруженные еще при И. А. Черкасове. Они расположены в глубине двора прямо напротив дома и выделяются открытыми аркадами (верхняя имеет остекление). Они носят название «Бироновых» конюшен, но какое отношение к ним имеет герцог Э. И. Бирон и имеет ли вообще, точно не установлено. Хотя известно, что к лошадям и верховой езде он имел особую страсть. В 1950 г. во дворе открыт памятник Александру Сергеевичу Пушкину работы скульптора Н. В. Дыдыкина при участии архитектора Ю. Н. Смирнова. Бронзовая статуя высотой 1,7 метра установлена на высоком круглом постаменте из песчаника.
На фасаде самого дома в 1880 г. установили мемориальную доску А. С. Пушкину работы архитектора Н. Л. Бенуа. В 1920-е гг. она была утрачена и открыта заново в 1937 г. со следующим текстом: «В этом доме 29 января 1837 года скончался Александр Сергеевич Пушкин».
В 1806 г. купец А. П. Жадимеровский продал дом княгине Александре Николаевне Волконской, урожденной Репниной. Здесь прошло детство ее сына Сергея – будущего декабриста, лишенного в 1826 г. всех званий и привилегий и осужденного на каторгу. В 1834 г. княгиня умирает, и дом переходит к ее дочери и сестре Сергея, Софье Григорьевне Волконской, которая с 1827 г. бо́льшую часть времени проводила за границей. В те же годы Волконские начали сдавать в доме квартиры внаем, а среди арендаторов оказалась семья А. С. Пушкина. С 1833 г. квартиру на втором этаже занимала семья государственного деятеля тайного советника Федора Петровича Лубяновского.
Свою новую квартиру из 11 комнат, с кухнею, подвалом, конюшней, сараем и сеновалом А. С. Пушкин снял в сентябре 1836 г. Причем поэт заключил с доверенным лицом С. Г. Волконской официальный договор: