Борис Прозоровский чудом остался жив, когда Степан Разин захватил Астрахань, где его отец был воеводой. Отца убили, а сына подвесили за ноги, после чего он на всю жизнь остался хромым. Находясь на казенной службе, он заведовал Оружейной палатой. Все свое имущество он завещал в полное распоряжение Екатерины I, прося сохранить только некую часть на помин души и на обеспечение его вдовы. Дом Прозоровского использовался как посольский: в 1722 г. там останавливался турецкий посланник, а в 1744 г. Сенат рассматривал вопрос об отпуске денег на «разные в том доме уборы и другие потребности для английского посла лорда Тираулии». В 1727 г. дом был передан Верховным тайным советом, правившим страной в царствование молодого императора Петра II, графу Павлу Ягужинскому. Бывший денщик царя Петра Великого, сын бедного органиста, он славился тонким умом, начитанностью и даром слова, пользовался доверием царя Петра, назначившего его генерал-прокурором Сената – «сей чин, яко око наше и стряпчий о делах государственных должен во всем верно поступать». После П.И. Ягужинского, умершего в 1736 г., этот участок перешел к его сыну Сергею, по отзывам современников беспутному расточителю, промотавшему отцово состояние на развлечения, игры, театры. «В ряду театров вельмож Екатерининского времени, – рассказывал историк М.И. Пыляев, – отличался своей царской роскошью при постановке пьес театр графа С.П. Ягужинского, у него в числе крепостных актеров был Михаил Матинский, личность крайне талантливая, с глубокими познаниями в науках; он, помимо таланта актера, обладал качествами музыканта и композитора. Опера его „Санкт-Петербургский гостиный двор” долго не сходила со сцены». С.П. Ягужинский разорился и впал в нужду (в «Московских ведомостях» в 1767 г. объявлялось о сдаче внаем и дома на углу Знаменки, и его загородной усадьбы за Калужскими воротами); с его смертью в 1806 г. род Ягужинских пресекся. После пожара 1812 г. «пустопорожняя земля» была куплена соседним владельцем купцом М.П. Головкиным, а от него перешла к гвардии прапорщику В.М. Коноплину, для которого в 1828 г., возможно, по проекту архитектора Е.Д. Тюрина (сын этого Коноплина служил советником в Комиссии для строений в Москве, где также служил и Тюрин) было построено трехэтажное здание по красной линии Знаменки. В этой городской усадьбе находились меблированные комнаты Е.П. Ивановой, родственницы Ф.М. Достоевского, который, желая поддержать ее, почти всегда останавливался здесь в свои приезды из Петербурга. В 1899 г. здание надстроили четвертым этажом. В связи с мемориальной ценностью здания его поставили на госохрану и вскоре же снесли…