Главный дом получил дворцовое решение – с анфиладой высоких парадных помещений во втором этаже и огромным двусветным залом, обращенным во двор. Эта парадная анфилада стала особенно обширной после того, как в 1816 году разрывы между главным зданием и флигелями были застроены. Тогда же появилась торжественно развернутая парадная лестница с большим выходящим на улицу вестибюлем. Эти помещения и часть комнат первого этажа получили богатейшую отделку с использованием искусственного мрамора, с колоннами, расписанными плафонами и рельефными «фаянсовыми» печами. Весь этот декор удалось восстановить после реставрации 1960-х годов.
Значительные изменения в общий облик талызинского дома были внесены на рубеже ХIХ—ХХ веков, когда занимавшая здание Казенная палата надстроила его боковые части до уровня главного корпуса.
Очень любопытен по своей планировке парадный двор, оказавшийся позади здания. Еще при А. И. Талызине было построено здание конюшен, симметричное древней трапезной Аптекарского приказа, и полукруглая декоративная стена между ними. Это позволило включить в общий ансамбль и косо поставленный самый старый среди остальных строений «Дом садовника», относящийся к началу XVIII века.
Талызинский дворец неслучайно был приобретен государством для размещения в нем Казенной палаты. И снова приходится уточнять расхожее благодаря путеводителям советского времени представление об этом учреждении как о «финансовом управлении города». В действительности впервые созданная Екатериной II в 1775 году Казенная палата сосредоточивала в себе все казенное управление. Она заведовала государственными имуществами и строительной частью страны. Впоследствии функции палаты сводятся к счетоводству и отчетности по приходу и расходу сумм в губернских и уездных казначействах, непосредственно ей подчиненных. Она наблюдает за поступлением государственных доходов, добивается их уплаты, но сама не вводит и не взимает никаких сборов. Казенная палата распоряжается производством всех расходов по губернии и не допускает не предписанных Министерством финансов расходов, какое бы ведомство ни пыталось их произвести.
Дом Талызина на Воздвиженке. 1787; 1816 г. Анфилада.
В результате своеобразной преемственности уже в советские годы в талызинском дворце работают сначала Секретариат ЦК РКП(б), который часто посещает Ленин, затем последовательно Наркомат юстиции, Госплан, а с 1945 года Музей архитектуры, получивший с 1963 года имя своего первого директора архитектора А. В. Щусева.
Дом № 5, который ряд советских справочников называет уютной квартирой председательствующего Казенной палаты, в действительности всегда принадлежал Крестовоздвиженскому монастырю и служил жильем для клира Крестовоздвиженского собора.
Имена владельцев здешних земель в Средние века постепенно стирались временем, и тем не менее к ним трудно не обратиться – слишком много они значили в истории страны. Так, участки под номерами 12–14 при царе Алексее Михайловиче принадлежали боярину Борису Ивановичу Морозову, воспитателю царя, женатому на сестре его жены, царицы Марьи Ильичны Милославской. Первый период правления юного царя все его решения принимались по подсказке и чуть ли не приказу боярина. Постоянной гостьей здесь бывала боярыня Морозова – знаменитая поборница старообрядчества, бывшая замужем за родным братом Бориса Ивановича.
Здание под номером 12, сохранившееся до наших дней, относится к концу XVIII века. Его отличал великолепный сад, выкорчеванный ради установки ныне снятого памятника М. И. Калинину работы скульптора Б. И. Дюжева. Открытый в апреле 1978 года грузный бронзовый монумент в настоящее время заменен торговым павильоном. Восстанавливать сад никто не стал.
Оставшееся в глубине палисадника с фонтаном здание под номером 14 – произведение одного из интереснейших московских зодчих – Романа Ивановича Клейна. Выученик Петербургской академии художеств, в дальнейшем несколько лет стажировавшийся в Париже, Клейн известен также своей преподавательской работой в Рижском политехническом институте и Московском высшем техническом училище (ныне – МГТУ им. И. Э. Баумана). В Москве по его проектам построены Государственный музей изобразительных искусств им. Пушкина, здание универсального магазина «Мюр и Мерилиз» – ныне ЦУМ, «Чайный дом» С. Перлова на Мясницкой, Средние Торговые ряды на Красной площади и в 1912 году Бородинский мост-памятник Отечественной войне 1812 года.