От этого брака родился последний природный князь Юсупов — Николай Борисович-младший (1827–1891), получивший имя в честь знаменитого деда, успевшего подержать своего маленького тезку на руках.
Не только карты, но и брак, вопреки народной мудрости, не принесли счастья Борису Николаевичу. Отец явно не одобрял его союз с княжной Прасковьей Павловной Щербатовой, которая умерла вскоре после замужества и нашла последнее упокоение в семейной усыпальнице князей Юсуповых возле храма в подмосковном Спасском-Котове. Освященный церковью брак делал княгиню законной представительницей семьи, так что при выборе места погребения личные симпатии и антипатии тестя отступали.
Вторая жена Бориса Николаевича — Зинаида Ивановна Нарышкина, бывшая моложе супруга 15 годами, отличалась весьма свободолюбивым нравом и не стеснялась его при случае выказывать. В 1827 году она родила мужу единственного сына — Николая Борисовича-младшего, после чего пустилась, что называется, во все тяжкие. Впрочем, все делалось в глубочайшей тайне, которая современникам так и не открылась.
Отсутствие нравственности частенько побеждает в глазах потомства присутствие благодетельности. Вот что писал без особого стеснения о Зинаиде Ивановне правнук Феликс Феликсович Юсупов-младший:
Князь Борис Николаевич, несмотря на богатство, много лет пребывал на государственной службе, считая это своим долгом. Служил он в Министерствах иностранных дел, внутренних дел и финансов, возглавлял Экспедицию знака отличия беспорочной службы и Экспедицию ордена святой Анны. В 1848 году князь был пожалован в Гофмейстеры Императорского Двора.
Вступив в отцовское наследство, князь Борис Николаевич столкнулся с серьезными материальными проблемами. Понятно, что есть-пить и даже балы давать средства имелись, но еще предстояло отдавать многочисленные долги: собственные — карточные и отцовские — хозяйственные. Еще предстояло заботиться о поддержании крепостного хозяйства, о доходности вотчин, фабрик и еще о многом другом, о чем нормальная российская аристократия предпочитала тогда не думать, отдавая все свое движимое и недвижимое имущество всякого рода немцам-управляющим. Те же, в свою очередь, редко думали о барском кармане, предпочитая мыслить о наполнении собственного, о чем не без горечи писал А. С. Пушкин в уже цитировавшемся «Путешествии из Москвы в Петербург». Большие сомнения терзали Бориса Николаевича и относительно собственных способностей к управлению, к возможности совмещать государственную службу с большим объемом документов и необходимостью поездок по имениям.