Но шло время… Балакирев занимался с юной Волконской фортепиано, и отношение ученицы к своему учителю изменилось: «.. когда он уходил от меня, я подходила к окну и смотрела, ждала, чтобы он появился на левой стороне Владимирской площади (мы жили в доме Ремесленной управы, выходящем на площадь, Б. Московскую и Загородный пр.) у булочной Вебера, а когда он появлялся в своем стареньком поношенном пальто, в круглой суконной шапочке и в ярко-малиновых вязаных перчатках, в которых он изредка шевелил пальцами опущенных и широко отставленных от туловища рук, – я долго с жалостью, нежностью, умилением и благоговением смотрела ему вслед…».
Семья Юсуповых владела зданием до самой революции, а покупателем участка выступил князь Николай Борисович Юсупов-младший, последний из рода Юсуповых по мужской линии. История его жизни, особенно брака с родной племянницей, более походит на авантюрный роман с тайным венчанием, разлукой и трагедией в итоге. Стены дома стали свидетелями многих событий, связанных с семейной жизнью Н.Б. Юсупова.
Свою будущую супругу, графиню Татьяну Александровну Рибопьер, приходившуюся близкой родственницей, Юсупов знал с детства, а любовные чувства между ними вспыхнули в начале 1850-х гг. Когда стало ясно, что молодые люди не могут жить друг без друга, Николаю Борисовичу шел 25-й год, его кузине исполнилось 23 года. Официального венчания возлюбленным не полагалось – церковь считала брак между родственниками греховным. Активно противодействовала этому союзу мать Юсупова, сумевшая добиться осуждения всей этой истории со стороны императора Николая I. В итоге стало ясно, что, пока жив государь, возможности создать семью у Н.Б. Юсупова и Т.А. Рибопьер не будет. Время подтвердило это предположение. Лишь после кончины царя в 1855 г. и вступления наследника Александра Николаевича на русский престол Юсуповы тайно обвенчались. Святейший синод начал было расследовать дело о незаконном венчании, но император Александр II повелел оставить все без последствий.
Летопись борьбы за любовь двух молодых людей сохранилась в дневниках генерала Леонтия Васильевича Дубельта: «Март 25. Дошло до сведения Государя Императора, что князь Юсупов, влюбленный в свою двоюродную сестру, дочь Рибопьера, хотел похитить ее и тайно жениться на ней. Его Величество, желая предупредить несчастье, как для Юсупова, так и для девицы Рибопьер, повелел арестовать его и немедленно отправить на службу в Тифлис. Князю Юсупову намерены были способствовать в похищении девицы Рибопьер князь Гагарин и Воейков. <…> Март 30. День Святые Пасхи. При Дворе был большой выход. Христосовались с Государем Императором. Государыни Императрицы не было. Насчет отправления в Тифлис князя Юсупова носятся неблагоприятные толки: какое-де дело правительству вмешиваться в семейные дела! <…> Апрель 20. В марте князь Юсупов был отправлен в Тифлис. По этому делу Княгиня Зинаида Ивановна Юсупова (мать Н.Б. Юсупова. –
Дом на Невском проспекте стал неплохим подарком Татьяне Александровне, но, увы – она недолго радовалась этому приобретению. В январе 1879 г. Юсупова умерла в возрасте 50 лет. У Николая Борисовича остались дети: Зинаида и Татьяна, старшей дочери Ольге уже 20 лет. Младшая дочь Таня, которую в семье звали Таник, напишет в своем дневнике: «Горит ночник. Я боюсь остаться одна! Последние слова Мама: „Еще четверть часа! Боже мой!“. Мама нас благословила, всех троих, в последний раз. <…> Папа дает мне кольцо Мама. Я умираю от горя».
Через девять лет после кончины любимой супруги он потеряет и младшую дочь, названную ее именем. Татьяна Николаевна скончается в возрасте 22 лет от тифа. За несколько месяцев до трагедии она написала пророческое стихотворение: