Один из Юсуповых, князь Николай Борисович, живя в основном либо в Петербурге, либо за границей, часто сдавал свои дома жильцам. Тогда в усадьбе параллельно переулку стояли три каменных здания, и одно из них, так называемый «средний дом», в 1801–1803 гг. снимал Сергей Львович Пушкин. По предположению ученого-пушкиниста М. А. Цявловского, впечатления раннего детства А. С. Пушкина, его посещений сада в усадьбе Юсупова отразились в терцинах «В начале жизни…».
Дом, где жила пушкинская семья, сохранился, он был надстроен третьим этажом в 1891 г. и тогда же соединен со старыми палатами. Сейчас он составляет крайнюю левую часть современного здания.
После 1917 г. палаты были отобраны у владельцев, обстановка большей частью разворована, с 1922 г. тут поместился Военно-исторический музей с собранием предметов быта, вооружения и снаряжения старой русской армии, затем короткое время находился чеховский музей, а с 1928 г. до недавнего времени различные сельскохозяйственные учреждения, такие как совхозный институт, институт планирования и экономики, президиум сельскохозяйственной академии, а с 2004 г. памятник передали проектной организации. Недавно его отреставрировали, восстановили интерьеры и приглашают туристов полюбоваться великолепным внутренним убранством.
В 1924 г. в здании, в тайнике под лестницей, обнаружилось не только множество ценнейших золотых и серебряных ювелирных изделий, а к ним еще и скрипка Страдивари.
У Садовой, то есть у Земляного вала, строения Большого Харитоньевского переулка кончаются сравнительно небольшим, но монументальным двухэтажным домом, который можно отнести к концу XVIII – началу XIX в. В нем жил обер-, или, как он писался в справочнике, старший полицмейстер, и там же располагалась его канцелярия, до того как они переехали на Тверской бульвар. Рядом, через переулок, находилась и одна из районных полицейских частей – Яузская, чье здание сохранилось (№ 14/19 по Садовой-Черногрязской). Построенное в 1820-х гг., оно, как и его обер-полицмейстерский сосед, представляет собой пример сурового, мрачноватого казарменного ампира, получившего распространение в начале XIX в. В советское время это здание заняла глазная больница, а в саду в 1925–1929 гг. построили и новые ее здания по проекту архитектора И. А. Иванова-Шиц – подражание лучшим образцам московского классицизма.
Напротив дворца Юсупова находится участок (№ 22–24), принадлежавший ему же. Участок этот был немалым: по Большому Харитоньевскому переулку он тянулся на 83 сажени (примерно 177 метров), а другой стороной выходил в соседний Фурманный переулок. В центре участка, приблизительно там, где сейчас стоит двухэтажное здание (№ 24), находился обширный регулярный сад с дорожками, куртинами и круглым бассейном. За садом по Фурманному переулку стояло несколько «людских изб», а слева от сада – хозяйственные постройки: кухня, конюшня, сараи, погреба. Справа от сада по линии Большого Харитоньевского переулка – комплекс из трех стоящих вплотную зданий. Самое старое из них – среднее, трехэтажное, с простым пилястровым портиком, фронтоном и рустом первого этажа. Оно было построено в 1794 г. коллежским асессором Х. Христианом. Ранее здесь был участок с деревянными зданиями, принадлежавший с 1728 г. Измайловым, которые приобрели несколько мелких владений «слободских людей Огородной и Казенной слобод». В 1801 г. жена Х. Христиана продала участок вместе с домом князю Н. Б. Юсупову за 10 тысяч рублей, и с тех пор этот дом, как, впрочем, и другие дома здесь, стал сдаваться жильцам. В 1803 г. его нанимает капитан Д. Н. Бологовский, знакомый А. С. Пушкина, потом М. И. Римская-Корсакова, князь Н. М. Львов. Значительно позднее, уже в 1826–1827 гг., среднее здание обстраивается справа и слева. Возможно, что правое здание использовалось Юсуповым для театральных представлений. Юсуповский театр был известен в Москве, о нем сохранились воспоминания современника: «Меня поразила невиданная еще картина. Чем-то сказочным показалась мне эта обширная зала, освещенная люстрой и множеством кенкетов [масляных ламп], окаймленная тройным поясом лож, уставленная рядами кресел…»
После смерти князя Н. Б. Юсупова эти здания продаются в 1836 г. для Работного дома, учреждения, цель которого заключалась в призрении взрослых людей обоего пола, принадлежавших преимущественно к «низшим сословиям», а попросту в искоренении нищенства. Работный дом просуществовал до установления советской власти, после него здесь поместились Харитоньевские учебно-производственные мастерские и различные учреждения.
На том месте, где был Юсуповский сад, в 1895–1896 гг. архитектором И. П. Машковым на частные пожертвования построено двухэтажное здание (№ 24) Городского дома трудолюбия имени М. А. и С. Н. Горбовых, где занимались шитьем «приходящие женщины, неимущие и нуждающиеся в заработке, но имеющие свои квартиры».