В своем подмосковном дворце поместья «Архангельское» у себя в спальне он повесил картину, где Екатерина Великая и он сам изображены в виде Венеры и Аполлона. Император Павел Петрович после матушкиной смерти повелел уничтожить эту картину. О распоряжении императора стало известно в придворных кругах, и все фрейлины дружно решили, что князь Николай Борисович вряд ли выполнит совет императора. И они оказались правы. Картина на сюжет из греческой мифологии осталась на прежнем месте. Мало того, князь Николай Борисович в той же спальне поместил целую галерею картин, изображавших более трехсот княжеских любовниц.
Бóльшую часть жизни Николай Борисович Юсупов провел за границей и был тесно знаком с весьма знатными персонами и правителями многих европейских стран и переписывался с ними. Князь считался фанатичным и весьма знаменитым коллекционером. В Европе он скупал все, что считалось историческими раритетами. Он приобретал предметы искусства в разных странах Европы не только для своего богатейшего домашнего музея, но и для российского Эрмитажа, директором которого состоял многие годы.
В Париже князь Н.Б. Юсупов часто приглашался на вечера в Трианон и Версаль. Князь дружил с Людовиком XVI и Марией-Антуанеттой, вручившими ему в подарок старинный сервиз из черного севрского фарфора – шедевр королевских фарфоровых мастерских.
Близкими друзьями князя Николая являлись также прусский король Фридрих Великий, австрийский император Иосиф II, Вольтер, Дени Дидро, Д'Аламбер и Пьер Бомарше, посвятивший Юсупову оду.
В 1793 г. князь Николай женился на Татьяне Васильевне Потемкиной (урожденной Энгельгардт) – вдове генерал-поручика Михаила Сергеевича Потемкина. В 12 лет племянница светлейшего князя Г.А. Потемкина назначается Екатериной II во фрейлины ко двору В 16 лет Татьяна Васильевна выходит замуж за дальнего родственника генерал-поручика Михаила Сергеевича Потемкина, тому ко дню свадьбы исполнился 41 год. К венцу любимую красавицу-фрейлину одевала сама императрица.
Брак просуществовал всего десять лет. После смерти супруга Татьяна Васильевна вторично выходит замуж за князя Николая Борисовича Юсупова, которому в ту пору уже было более сорока лет. Княгиня Татьяна Васильевна оказалась женщиной не только красивой, но и обладавшей деловой хваткой, что позволило ей не только разумно вести огромное хозяйство, но и приумножить состояние своего супруга. По воспоминаниям Феликса Юсупова, семейное счастье этой умной женщины продолжалось недолго: «Князь Николай по-своему любил жену и оплачивал всякое новое ее приобретение и даже сам одаривал супругу оригинальными дорогими подарками. Однако с годами князь стал распутничать и жил у себя в Архангельском, как паша в серале. Княгиня, не терпя этого, переселилась в парковый домик „Каприз“, ею построенный. Удалилась она от света и посвятила себя воспитанию сына Бориса, родившегося от брака с князем Николаем Борисовичем, и делала благотворительности. Мужа пережила на десять лет и умерла в возрасте семидесяти двух лет, сохранив до конца знаменитые свои ум и шарм…»
Вся Москва обсуждала скандальную жизнь старого князя, особенно его гарем из шлюх и танцорок. Давно живя раздельно с женой, он держал у себя любовниц во множестве, актерок и пейзанок. Театрал-завсегдатай Архангельского рассказывал: «… его фавориткой была актриса-француженка, красотка, горькая пьяница. Она, когда напивалась, бывала ужасна. Лезла драться, била посуду и топтала книги… Самой последней его пассии было восемнадцать, ему – восемьдесят!»
Князь Николай Борисович Юсупов скончался в 1831 г. и был с почестями похоронен в своем подмосковном имении Спасское.
После смерти Н.Б. Юсупова основным наследником его огромного состояния оказался сын Борис. Наследник не походил на родителя ни внешностью, ни характером. Своей врожденной независимостью, прямотой и простотой в обхождении с людьми князь Борис Николаевич, по мнению князя Феликса Юсупова, «нажил более врагов, чем друзей. В выборе последних он искал не богатство и положение, а доброту и честность.
Однажды ожидал он у себя царя с царицей. Церемониймейстер вычеркнул было кое-кого из списка гостей, но встретил решительный отпор князя: „Коли оказана мне честь принять государей моих, она оказана и всем близким моим“».
Князь Борис Николаевич Юсупов женился на Зинаиде Ивановне Нарышкиной, впоследствии графине де Шово и маркизе де Серр. Их единственный сын – князь Николай Борисович Юсупов – станет отцом последней из потомков по прямой линии князей Юсуповых, княгини Зинаиды Николаевны Юсуповой, вышедшей замуж за графа Феликса Сумарокова-Эльстона, взявшего фамилию и титул супруги.
5 марта 1830 г. бывший особняк Шуваловых на набережной реки Мойки, 94, князь Борис Николаевич Юсупов покупает у своей тетки А.В. Браницкой за 250 000 рублей.