В середине XVIII века началась застройка Невского проспекта за Фонтанкой. На месте нынешнего дома находилась небольшая усадьба. С 1792 по 1800 год этот участок принадлежал князю Куракину, который выстроил здесь большой каменный трехэтажный дом. В XIX веке он неоднократно перестраивался новыми владельцами. Была изменена и внутренняя планировка помещений. Уже всередине XIX века первый этаж сдавался под магазины, а в парадных залах второго и третьего этажей размещался один из самых фешенебельных клубов Петербурга — Английский.
В 1877 году княгиня Татьяна Александровна Юсупова, урожденная Рибопьер, купила этот дворец с участком земли в 2276 квадратных сажен за 800 тысяч рублей с лишним. Князья Юсуповы продолжали сдавать помещения дворца различным клубам и обществам. В 1881 году здесь впервые организовали выставку передвижники. А в 1885 году среди картин выдающихся художников петербуржцы увидели картину Репина «Иван Грозный и его сын Иван». Она имела такой успех и вызвала такой наплыв зрителей, что на улице пришлось выставлять отряд конной полиции.
6 октября 1924 года на Невском проспекте открылся Центральный дом работников искусств. В 30-е годы в помещениях второго и третьего этажей произвели перепланировку, при этом уничтожили все камины. В 1959 году были выполнены работы по реконструкции и капитальному ремонту здания. В настоящее время его занимает Дом актера Станиславского.
Картинная галерея, равно как и другие коллекции семьи Юсуповых, создавалась на протяжении многих лет. Основателем ее был Николай Борисович Юсупов-старший (1751–1831 гг.). Его понимание живописи и определило основное направление коллекции.
Находясь во Франции, Николай Борисович переписывался с Екатериной II и ее сыном Павлом Петровичем, будущим императором. Юсупов желал «пересадить все великое на берега Невы». Князь прилагал большие усилия, чтобы купить как можно больше интересных произведений искусства и заполучить для России наиболее талантливых живописцев, каменщиков, лепщиков. Пользуясь благосклонным отношением Екатерины Великой к искусству, наряду с живописными произведениями он покупал мозаики, шпалеры, шкатулки, фаянс и другие предметы декоративно-прикладного характера. Именно в эти годы благодаря стараниям князя в Ватикане были скопированы все лоджии Рафаэля. Екатерина II заказала ему снять копию лишь одной лоджии, но Юсупов добился ее разрешения на исполнение копий всего ансамбля художниками Мароном, Росси и их помощниками.
Среди донесений Юсупова имеется следующее: «Рафаэль сделал картоны для ковров, которые были вытканы во Фландрии. Семь из них находятся в Англии у короля, прочие потеряны, ковры — в Риме. Можно бы заказать копии с картин в Англии, а в Риме — копии с ковров, которые исполнены очень хорошо. Тогда Ее Величество имела бы главные произведения этого живописца». На что Екатерина ответила: «Об них я не имею понятия, но если сюжеты печальные или слишком серьезные, я их не хочу».
Императрица страстно любила красивые камни, особенно ценила их обработку, собирала геммы и камеи. Вот что писала она Юсупову: «Милостивый государь князь Юсупов, я получила оба ваших письма и три камеи в свое время. Я ожидала верной оказии, чтобы вам ответить, я отлично помню, что я вам обещала… Итак, Пихлер, Ведер и Амастини принялись наконец за работу, чтобы увеличить мое небольшое собрание, которое в эту осень получило некоторое подкрепление через покупку собрания резных камней герцога Орлеанского… К этой миссии прибавилась другая: мы сделали открытие, найдя громадное собрание медалей от 14 тыс. до 15 тыс экземпляров, которое валялось не знаю на каком чердаке… Мозаики для ларчиков, обещанные вами, доставят мне большое удовольствие, равно как и картина Ангелики Кауфманн — та, что уже у меня, я никогда не пройду мимо нее, чтобы не остановиться…»
Письма Павла Петровича были более конкретны: «Я получил, князь, ваше письмо из Парижа 15 (26) прошлого месяца… Я думаю, вы можете заказать картины Верне и Роберу, не стесняясь ценою. Что до Грёза, то я прикажу написать ему сегодня же, чтобы указать ему, каким способом послать его картины…»
Скупая картины и другие произведения искусства для Эрмитажа, Гатчины и Павловска, Николай Борисович Юсупов не забывает и о своей коллекции. За короткое время она пополняется западноевропейской живописью и скульптурой, оригинальными рисунками, редкими гравюрами, камеями, часами, табакерками, ценными книгами.
Уже в 1778 году в коллекции были «Лежащая Венера», приписываемая Тициану, мужской портрет Веласкеса, «Старик с ребенком» Рембрандта. Скоро в руках Юсупова оказываются четыре пейзажа Клода
Лоррена, парные портреты Рембрандта, картины Лоренцо Лотто, Рибейры, Фурини, Карло Дольчи, Доменикино, Тьеполо, Риччи, Воувермана, ван Дейка, Бурдона, Верне, Гюбера Робера и многих других.