И тут произошло непоправимое: Голицын влюбился без памяти в дочь своих друзей Рахманиновых — Юлию. «Без памяти» — в данном случае не просто словесный штамп, прикрывающий неспособность изобразить стихийное, нерассуждающее чувство. Голицын влюбился, как сицилийский юноша, о котором говорят: «громом расшибло». И в этой сумасшедшей, безответной, тягостной и безнадежной любви забыл о всех правилах и обязательствах, налагаемых семьей, обществом, воспитанием, законами соседства и дружбы. Он преклонялся перед четой Рахманиновых, знал, как неуместна и оскорбительна в их глазах неуправляемая страсть семейного человека к их дочери-невесте, знал, как любят и чтят они Екатерину Николаевну, но ничего не мог поделать с собой. Искушенный в обманах, Юрка даже не пытался что-либо скрыть. Расшибло громом… Он не помнил, как пришло к нему это чувство, когда он открыл в угловатой девчонке созревшую прелесть женщины и понял, что без нее не стоит жить. Ему казалось — это было всегда: для нее плавал он в гондоле, одетый «настоящим итальянцем», и пел под гитару, для нее дрессировал белую козочку и посылал с записками в заросший душистый сад, для нее очаровывал властную старуху Дунину. Она слилась с Катей, потом вытеснила ее, отобрав все, что той по праву принадлежало. И Катя поняла, что у нее отняли и сад, и козочку, и серенаду, отняли душу единственно любимого человека, и не простила ему этого.
Даже самое сильное и светлое чувство, если оно противоречит человеческим установлениям (пусть условным, как в «Ромео и Джульетте»), имеет оправдание лишь в сердцах любящих, но здесь не было взаимности, не было света, и этим усугублялась вина князя. В эту пору исполнение его хором духовной музыки производило тревожное и двусмысленное впечатление: сам того не желая, Голицын так вел певчих, что славословие богу рыдало земной любовью.
Ни пылкие признания, ни искаженные страданием черты, ни безотчетные порывы музыкальных признаний не трогали той, которой князь мечтал вручить свое большое сердце. Он ей просто не нравился. Не нравился — и все тут! Тридцатилетний Юрка казался ей стариком, одним из тех противных сластолюбивых старцев, что подглядывали из кустов за купающейся Сусанной. И ей было невыразимо стыдно перед Екатериной Николаевной, родителями и женихом, который не только не догадывался о притязаниях князя, но даже и о том, что сам он — жених (последнее не помогло ему в должный час). А князь все больше разнуздывался в своем неопрятном страдании. Он бомбардировал Юлию страстными письмами, она возвращала их нераспечатанными, тогда он стал адресовать свои признания ее родителям. Не порывая дружбы, Рахманиновы отказали Голицыну от дома. Екатерина Николаевна объявила о своем намерении жить отдельно, ее религиозность отвергала развод.
Внезапная смерть Николая и восшествие на престол Александра II ускорили крушение Голицына. В глубине души он надеялся, что, отягощенный неудачами Крымской войны, Николай еще вспомнит о Юрке Голицыне, которого не раз брал под защиту, и, отвергнув клевету, утвердит губернским предводителем. Царь обманул ожидания Юрки, как-то чересчур поспешно окончив свой земной путь. Сомнительно, чтобы не связанный никакими сентиментальными воспоминаниями, Александр поддержал кандидатуру беспокойного претендента, жалобы на которого сыпались со всех сторон. Среди обиженных оказался и крупный чиновник, числивший за Голицыным полторы тысячи долга, что тот решительно отвергал. Когда домогательства чиновника превысили меру княжеского терпения, он послал ему указанную сумму, но выжег все номера кредитных билетов. Поступок этот вызвал одобрение света, но заставил поморщиться царя, чуждого архаическому чудачеству. Задет был и коммерческий мир: на одном приеме разбогатевший откупщик, здороваясь, первым сунул руку князю. Голицын тут же вложил в протянутую длань рубль. И это не понравилось Александру, желавшему, чтобы сословия мирножительствовали.
Все валилось. Правда, в тьме, окутавшей князя, случались проблески. Он учил пению своего крепостного Андреева и открыл у него три удивительные ноты. Этот Андреев стал впоследствии артистом императорского театра.
Но и музыка не спасала. Надо было что-то решать. И князь, измерив глубину своих несчастий, нашел единственный выход: искать смерти на поле брани. Самоубийство он отвергал по тем же мотивам, по каким Екатерина Николаевна отвергала развод. Он записался в ополчение и поехал в Салтыки проститься с семьей, домочадцами и теми, кого он, «отеч родной», твердо решил осиротить.
Он знал, что будет убит, и считал себя вправе смиренно, но торжественно обставить свой уход из жизни.