Самая старая часть дворца — нижний этаж крайней правой палаты. Она может датироваться концом XVI или началом XVII в. В конце XVII в. сформировался весь существующий комплекс двухэтажных построек, а возможно, был и третий деревянный жилой этаж, с характерным для того времени декором в стиле московского барокко. В правой части на первом этаже была возведена парадная, «крестовая» бесстолпная палата (площадью около 170 квадратных метров).
Возможно, что первым хозяином этих палат был богатый купец Чирьев, а потом ими владел сподвижник Петра I, дипломат, вице-канцлер П.П. Шафиров. В походном журнале Петра I за 1723 г. было записано, как 3 января, когда день «был с утра вьюжен, а пополудни прочистилось и было солнечное сияние и небольшой ветерок, а к ночи паки гораздо ветрено», царь приехал к Шафирову.
Позднее владелец палат был обвинен в казнокрадстве, и конфискованный у него дом в 1723 г. отдали графу Петру Толстому, управляющему Тайной канцелярией, главе следственной комиссии по делу царевича Алексея. В результате борьбы за власть с А.Д. Меншиковым графа сослали на Соловки, а каменные палаты в 1727 г. были пожалованы за верную службу секретарю Меншикова Алексею Волкову, который «от самого младенчества, — как писал он своему покровителю, — в вашу милость милостиво принять и отечески воспитать и обучить и всегда содержать изволили». Владельцем палат Волков был совсем недолго, меньше полугода, — в том же 1727 г. Меншиков терпит поражение в борьбе за власть и «светлейшего» ссылают, а у его подопечного палаты и прочее имущество отбирают, «понеже Алексей Волков, был при князе Меншикове, явился во всех его, князя Меншикова, непорядочных и худых поступках согласник…». Эти палаты до сих пор зовутся «палатами боярина Волкова», хотя такого боярина не было, а секретарь Меншикова Волков владел ими совсем короткое время, менее всех других владельцев.
Следующий владелец палат, этого своеобразного символа борьбы за власть у трона, — князь Григорий Дмитриевич Юсупов-Княжево, получивший их в ноябре 1727 г. С тех пор почти 200 лет они находились в юсуповском роду. В 1890-х гг. архитектором Н.В. Султановым после тщательных разысканий, палаты были заново отделаны по образцам, и со стороны двора к ним пристроили объем с лестницей, соорудили каменную ограду с воротами, где поместили герб Юсуповых, а со стороны переулка поставили ограду, выполненную по образцу решетки XVII в. церкви Николы Мокрого в Ярославле. В интерьерах сохранились прекрасные изразцовые печи XVIII в., богатая декоративная отделка: роспись, резные порталы, бронзовые решетки, подсвечники и фонари по рисункам художника Ф.Г. Солнцева; в «портретной» находятся изображения нескольких представителей династии Юсуповых, начиная с владетельного князя Ногайской Орды Юсуфа.
Один из Юсуповых, князь Николай Борисович, живя в основном либо в Петербурге, либо за границей, часто сдавал свои дома жильцам. Тогда в усадьбе параллельно переулку стояли три каменных здания, и одно из них, так называемый «средний дом», в 1801–1803 гг. снимал Сергей Львович Пушкин. По предположению ученого-пушкиниста М.А. Цявловского, впечатления раннего детства А.С. Пушкина, его посещений сада в усадьбе Юсупова отразились в терцинах «В начале жизни…».
Дом, где жила пушкинская семья, сохранился, он был надстроен третьим этажом в 1891 г. и тогда же соединен со старыми палатами. Сейчас он составляет крайнюю левую часть современного здания.
После 1917 г. палаты были отобраны у владельцев, обстановка большей частью разворована, с 1922 г. тут поместился Военно-исторический музей с собранием предметов быта, вооружения и снаряжения старой русской армии, затем короткое время находился чеховский музей, а с 1928 г. до недавнего времени различные сельскохозяйственные учреждения, такие как совхозный институт, институт планирования и экономики, президиум сельскохозяйственной академии, а с 2004 г. памятник передали проектной организации. Недавно его отреставрировали, восстановили интерьеры и приглашают туристов полюбоваться великолепным внутренним убранством.
В 1924 г. в здании, в тайнике под лестницей, обнаружилось не только множество ценнейших золотых и серебряных ювелирных изделий, а к ним еще и скрипка Страдивари.