Этого Голицына современники характеризуют не очень умным и образованным человеком, отдавая должное его «рыцарски-барственному духу», доброте, прямодушию, честности. Николай I назначил его попечителем Московского учебного округа, опекуном Воспитательного дома и вице-председателем Комиссии, строившей храм Христа напротив окон его усадьбы.
Но личная жизнь князя не сложилась. По прихоти Павла I ему пришлось жениться на красавице, им не любимой, Евдокии-Авдотье Ивановне Измайловой. В петербургском свете ее звали по-французски: «Princesse Nocturn», «la princesse Minuit», по-русски: «княгиней полуночной», «княгиней ночной», за обычай принимать избранных в салоне после полуночи. Гости не особенно роптали, что видно из стихотворения, не печатавшегося при жизни автора:
В свиданиях с поклонниками муж жене не мешал, поскольку «княгиня ночная» жила с ним «в разъезде», хотя и не в разводе. Князь не дал согласия на расторжение брака. Имя княгини внесено в «донжуанский» список любвеобильного Александра Сергеевича. Она вдохновляла его в те минуты, когда родились стихи, которые учил в школе каждый, кто говорит по-русски:
Оду «Вольность» поэт послал возлюбленной вместе с посвященным ей восьмистишием, увековечив княгиню в бронзе строк:
Во дворце на Волхонке Пушкин бывал, танцевал на балу, поддерживал добрые отношения с хозяином. Хотел в узком кругу друзей венчаться с Натальей Гончаровой в его домовой церкви Рождества Богородицы, на втором этаже, чему воспрепятствовал митрополит...
Будучи женатым, Пушкин подружился с «черноокой» фрейлиной красавицей Александрой Осиповной Смирновой, урожденной Россет. В обществе она звалась по-французски «Rossette». Этой женщине посвящены стихотворения многих русских поэтов. Пушкин подарил ей альбом, надписав на нем заглавие «Исторические записки А. О. С****», предпослал будущим мемуарам поэтический эпиграф от лица Россет:
Неудивительно, что в женщину, обладавшую такими достоинствами, влюбился добрый, прямодушный, рыцарски-барственный Голицын, предложивший ей руку и сердце. Россет чуть было не стала жительницей Волхонки, хозяйкой Пречистенского дворца, который современники называли домом Сергея Михайловича Голицына, выделяя среди других голицынских домов в Москве. Не суждено было князю наполнить стены дворца голосами наследников. Брак с Россет не состоялся, потому что не дала согласия на развод «княгиня ночная». Так она отомстила мужу, который не дал ей свободу от уз брака в молодости.
Было у Голицына и нелестное прозвище, данное ему в «Колоколе». Узнав, что князь, богатейший помещик, яростно выступает против отмены крепостного права и молит Бога умереть до того, как это свершится, Александр Герцен написал памфлет под названием «Известный старичок». Вышло так, как хотел князь, его смерть наступила за два года до великой реформы.