Николай Борисович Юсупов соединил все лучшие качества своих предков — благородство характера, ум тонкий и образованный, чувство собственного достоинства и безграничную преданность царям. Правнук Дмитрия, наказанного когда-то за гуся, он рассказывал, как однажды, ужиная в Зимнем дворце у императрицы Екатерины II, на ее вопрос, умеет ли он разрезать гуся, отвечал: «Мне ли того не уметь, заплативши столь дорого!» Императриц пожелала узнать историю и, узнав, очень смеялась. «Прадед ваш получил по заслугам, — сказала она, — а остатка имения на гусей вам хватит, еще и меня с семейством прокормите».
Князья Юсуповы были очень состоятельными людьми. Они владели множеством домов и дворцов, в которых содержались ценнейшие коллекции предметов искусства. Дворцы их и поныне считаются гордостью архитектуры Петербурга, а художественные шедевры украшают прославленные музеи России.
Первый дом Юсуповых находился на 4-й линии Васильевского острова, на котором, согласно плану Петра I, должен был размещаться центр новой столицы. Сведения об этом здании очень скудны. Так же мало сведений и о других домах Юсуповых, построенных в XVIII веке.
В 1789 году Николай Борисович Юсупов-старший вернулся из-за границы с большой коллекцией произведений искусства. Для ее размещения необходимо было большое помещение. Юсупов купил у князя Одоевского участок на набережной Фонтанки у Обуховского моста и поручил архитектору Джакомо Кваренги перестроить находившийся там каменный дворец. Работы велись с 1789 по 1792 год. В результате возник ансамбль в стиле строгого классицизма, включивший в себя главный дом с повышенной средней частью и двумя более низкими ризалитами, соединенными полукругом крыльев с двумя флигелями.
Одновременно с перестройкой дворца на месте регулярного сада был создан пейзажный, простиравшийся от Фонтанки до Садовой улицы (Юсуповский садик и сейчас — популярное место прогулок горожан). В нем устроили искусственные холмы, пруды, беседки, гроты и оранжереи.
В 1809 году князь продал имение в казну, а в 1810 году здание дворца и прилегающая к нему территория были приобретены для института корпуса инженеров путей сообщения. Сегодня здания принадлежат Санкт-Петербургскому государственному университету путей сообщения.
В 1830 году Николай Борисович купил у Александры Браницкой, урожденной Энгельгардт, дворец на Мойке со всей обстановкой за 250 тысяч рублей ассигнациями. После перестройки дворец стал трехэтажным, с восточной стороны вдоль набережной его удлинили. Причем, чтобы не нарушить симметрии старого здания, пристройка получила самостоятельный фасад. В здании создали анфиладу парадных помещений с театром. На втором этаже восточного флигеля разместили залы художественной галереи Юсуповых.
Большие средства были затрачены на внутреннюю отд елку дворца. В живописных работах участвовали итальянские мастера Виги, Медичи, Скотта, Торичелли. Роспись плафонов выполнил замечательный русский мастер Алексей Иванович Травин. В более поздние периоды над отделкой интерьеров работали архитекторы Бернар, Монигетта, Степанов, Вайтнес, Белобородов.
Именно в этом дворце в ночь с 16 на 17 декабря 1916 года Феликс Юсупов, Владимир Пуришкевич и великий князь Дмитрий Романов убили Григория Распутина.
После смерти князя Бориса Николаевича Юсупова его вдова Зинаида Ивановна решила построить себе новый дворец, а хоромы на Мойке оставила сыну — Николаю Борисовичу-младшему и его жене Татьяне Александровне.
На Литейном проспекте был куплен участок. Проект дворца сначала выполнял архитектор Боссе, а затем — архитектор Бонштедт. Работы велись с 1852 по 1858 год. Для облицовки фасада из Германии специально доставили бременский песчаник. Этот же камень использовался для декоративных деталей: аттиков на карнизах, пилястров, кариатид, ваз и гирлянд. Во внутренней отделке применялись искусственный мрамор, лепка, позолота, роспись и резьба по дереву, наборный паркет…
В конце 1850-х Зинаида Ивановна Юсупова уехала во Францию и там вышла замуж за маркиза де Шево (поэтому дворец на Литейном, называют также дворцом маркиза де Шево). После смерти владелицы в 1893 году огромное здание перешло по наследству к ее внучке Зинаиде Николаевне Юсуповой (по мужу — графине Сумароковой-Эльстон).
С разрешения новой хозяйки в 1908 году дворец сдали в аренду Театру сатиры и пародии «Кривое зеркало». Здание значительно переоборудовали. С началом Первой мировой войны здесь размещался госпиталь, содержащийся на средства Юсуповых (другой был во дворце на Мойке). После революции в здании находился польский Дворец просвещения им. Ю. Мархлевского. В 1934 года он стал Домом политического просвещения. С 1947 года здесь обосновалось общество «Знание».