Итальянские и французские мастера XVII и XVIII веков, голландцы и фламандцы XVII века, англичане и немцы XVIII века — вот основа галереи. Около пятнадцати лет она размещалась в доме 115 на Фонтанке, а после 1810 года 382 картины были перевезены в имение Архангельское и 120 картин — в московский дом в Харитоньевском переулке.
После смерти первого собирателя все его состояние перешло к законному наследнику — Борису Николаевичу, который в 1837 году перевез картинную галерею в свой петербургский дом на Мойке и разместил в только что созданной для этой цели пристройке. В 1839 году новый хозяин издает каталог коллекции на французском языке (ныне находится в Государственном Эрмитаже).
Борис Николаевич не любил живопись, поэтому в 1830 -1840-х годах новых поступлений не было. Зато его сын, Николай Борисович-младший, известный любитель музыки, композитор и собиратель старинных скрипок, весьма ею интересовался. Вместе со своей матерью Зинаидой Ивановной, урожденной Нарышкиной, он пополняет собрание большим количеством полотен современных ему западноевропейских художников. В галерее появились работы Коро, Тройона, Мейсонье, Изабе и многих других. К сожалению, подбор этих картин зачастую был случайным и не такого высокого качества, как прежний, дедовский.
В 1900 году на страницах журнала «Мир искусства» появилась статья Бенуа. Это было первое описание частного собрания Юсуповых. Статья подробно и глубоко знакомила с составом и характером галереи.
После 1900 года приобретения галереи носили единичный характер. Зато увеличилось собрание семейных портретов. Начатое ранее работами Ротари, Фюгера, Лампи, Вуаля, Виже Лебрена, Монье и Гро, продолженное Робертсоном,
Винтергальтером и Дюбофом, оно пополнилось великолепной серией работ Валентина Серова. В их числе три портрета Зинаиды Николаевны Юсуповой, ее мужа Феликса Сумарокова-Эльстона, их сыновей Николая и Феликса.
При Зинаиде Николаевне картины начали представляться на выставках как в России, так и за рубежом. Мужской и женский портреты Рембрандта на Амстердамской выставке 1898 года были признаны лучшим ее украшением. Шедевры юсуповской галереи побывали на выставках 1902-го, 1905-го и 1906-го. На выставку «Старые годы» в 1908 году владелица представила лучшие полотна собрания: картины Рембрандта, Клода Лоррена, Лоренцо Лотто, Питера де Хоога, Тенирса, Трооста, Тьеполо, Гварди, Ланкре, Буше, Робера, Буальи: Эти же картины в 1912 году отправились на выставку «Сто лет французской живописи» и произвели там огромное впечатление. В1919 году, согласно описи, княжеская галерея насчитывала более тысячи картин…
Главными ценностями собрания скульптуры Юсуповых были шесть античных мраморов: два «Гермеса», «Ганимед», «Мальчик с гусем», «Отдыхающий сатир», «Голова атлета». Жемчужиной коллекции — скульптурой «Поцелуй Амура» — ныне гордится Эрмитаж.
Собрание скрипок включало работы таких великих мастеров как Гаспаро Пручаро (1517), Джованно Мандино (1617), Антонио Амати (1602), Иеронимо Амати (1660), Николо Амати (1686), Джузеппе Гварнери (1686) и, наконец, самого Страдивари!
Здесь же находилось большое количество нот с автографами композиторов. Это собрание — 128 предметов — в основном было приобретено Николаем Борисовичем Юсуповым-младшим.
Знаменитая библиотека Юсуповых насчитывала более 55 тысяч томов, среди которых — более 400 инкунабул.
В коллекцию драгоценных камней, начало которой положила Татьяна Васильевна Юсупова — племянница Потемкина, входили более 180 печатей на ониксах, сердоликах и других камнях.
Огромную ценность представляют шпалеры. Три из них, изображающие охоту Мелеагра на дикого вепря, были вытканы в Брюсселе в мастерской Яна Лейнерса. Один гобелен, по преданию изображающий внуков Людовика XIV, называется «Дети-садовники». Эти три шпалеры и гобелен вручил князю Юсупову Людовик XVIII в качестве дипломатического подарка. При последних владельцах дома на Мойке в фойе театра можно было лицезреть и четыре фламандских шпалеры XVII века (все они сегодня находятся в Эрмитаже).
Искусствовед Сергей Эрнст, защищая в 1924 году музей и коллекции в бывшем дворце Юсуповых на Мойке от ликвидации, писал: «Картинная галерея является главным сокровищем юсуповского собрания. Но за почти полуторавековую жизнь собрания успел сложиться и развиться целый ряд других собраний — скульптуры, рисунков, бронзы, миниатюр, мебели, фарфора, серебра, гобеленов, кружев, табакерок, — собраний, как бы украшающих и дополняющих галерею… В этом отношении юсуповский дом является единственным на всю Россию — сохранение и защита этого редчайшего, столь богатого и столь разнообразного собрания по истории культуры и истории искусства является одной из самых прекрасных и самых почетных заслуг тех, кто ведает делами искусства в России». Но несмотря на такие убедительные слова и доказательства художественный музей вскоре был расформирован. В изгнании оказались и Юсуповы, и их коллекции…