О его многомиллионных проигрышах ходили легенды, так же как и о его поразительной глупости, как в обыденности, так и в карточных делах. Вот так отзывался о Борисе Николаевиче И. А. Арсеньев: «Князь Юсупов, хотя и был женат, но не жил с женою, от которой имел сына, князя Бориса Николаевича, известного всему Петербургу самодура, далеко не наследовавшего ни умом, ни щедростию, ни благородными порывами своего отца. Сына своего князь Николай Борисович терпеть не мог»…
Но, что касается устройства дел своего наследника, особенно брачного характера, то здесь Николай Борисович принимал постоянное участие. Скорее всего, он полагал, что невмешательство родителей повлечет за собой еще более серьезные последствия.
Князь Борис Николаевич был дважды женат. От первого брака, к сожалению, потомства не осталось. Зато второй женой Бориса Николаевича стала красавица Зинаида Ивановна Нарышкина, так уж уготовила судьба, что не только карты, но и брачная жизнь, вопреки мудрым народным словам, не смогли принести счастья Борису Николаевичу. Отец, Николай Борисович, явно не поддерживал его отношения с княжной Прасковьей Павловной Щербатовой, которая в скором времени после замужества умерла, упокоившись в семейной усыпальнице князей Юсуповых возле храма в подмосковном Спасском-Котове. Освященный и благословленный церковью брак делал княгиню законной представительницей рода, выбор места погребения отсекал всяческие личные симпатии и антипатии тестя.
Вторая супруга Бориса Николаевича – Зинаида Ивановна Нарышкина, была младше князя на пятнадцать лет. Ей был свойственен довольно свободолюбивый нрав, которого она вовсе не стеснялась и при удобном случае могла его проявлять. В 1827 году она родила мужу единственного сына – Николая Борисовича-младшего. После это го, она, как говорится, пустилась во все тяжкие. Разумеется, этот факт держался в глубочайшей тайне, которой так и не суждено было открыться современникам.
Поразительно, но отсутствие всяческой морали и нравственности нередко выигрывает у благодетельности в глазах потомства. Вот что писал о Зинаиде Ивановне, совершенно ничего не стесняясь, правнук Феликс Феликсович Юсупов: «Прабабка моя была писаная красавица, жила весело и имела не одно приключение. Пережила она бурный роман с молодым революционером и поехала за ним, когда того посадили в Свеаборгскую крепость в Финляндии. Впоследствии нашел я письма к ней императора Николая. Характер писем сомнений не оставлял. В одной записке Николай говорит, что дарит ей царскосельский домик «Эрмитаж» и просит прожить в нем лето, чтобы им было, где видеться… Поссорившись с императором, она уехала за границу… Весь бомонд Второй Империи бывал у нее. Наполеон Третий увлекся ею и делал авансы, но ответа не получил. На балу в Тюильри представили ей юного француза-офицера, миловидного и бедного, по фамилии Шово. Купила она ему замок Кериолет в Бретани и титул графа, а себе самой – маркизы де Серр. Граф де Шово вскоре умер, завещав замок своей любовнице…».
Князь Борис Николаевич, несмотря на то, что был очень богат, немало лет провел на государственной службе. Он считал это своим долгом. Он служил в Министерствах иностранных дел, внутренних дел и фи нансов. Кроме того, он возглавлял Экспедицию знака отличия беспорочной службы и Экспедицию ордена святой Анны. В 1848 году его пожаловали в Гофмейстеры Императорского Двора.