Помимо красоты Ольга обладала еще незаурядным умом, обаянием, умением располагать к себе, и завоевала не только уважение как весьма популярная «полковая дама», которую в гвардейской среде звали «Мама Лёля», но ухитрилась также войти в фавор к великому князю Владимиру Александровичу, адъютантом которого служил ее муж, и его супруге Марии Павловне. Злые языки поговаривали, что между Владимиром Александровичем и Ольгой Валерьяновной завязались уж слишком близкие отношения, что подтверждается сохранившимися письмами. (Известно, что великий князь был большим поклонником женской красоты, но предпочитал женщин менее стесненных общественными условностями, вспомним его постоянное весьма вольное общение с Матильдой Кшесинской.) В Петербургском доме Пистолькорсов и на их даче в Красном Селе постоянно собиралось веселое общество, центром притяжения которого была жена хозяина. Подыгрывая себе на фортепьяно, она самым обворожительным образом пела последние модные романсы и находила доброе слово или комплимент для каждого гостя. Сюда на огонек захаживали великие князья, побывал также и цесаревич, совершенно плененный оказанным ему приемом. Постепенно завсегдатаем этих вечеров стал и великий князь Павел Александрович, не устоявший перед чарами хозяйки. Ольга Валерьяновна рассчитала правильно: оставшийся в 31 год вдовцом великий князь нуждался в теплом женском участии, а не в очередной великой княгине, сосватанной из династических соображений. В 1893 году она направила ему довольно длинное поэтическое признание в любви, последнее четверостишие которого весьма красноречиво побуждало Павла Александровича прийти в ее объятия:
Павел Александрович и не думал отталкивать это прекрасное создание, а, напротив, совершенно потерял голову. Муж Ольги, похоже, делал вид, что ничего не замечает, даже когда в 1895 году у Ольги родился сын, который, на самом деле, был отпрыском Павла Александровича. Однако эти отношения постепенно стали выходить за рамки обычного великосветского романа, о котором охотно судачил весь Петербург. В 1901 году Ольга развелась с мужем – разрешение на развод Павел Александрович выпросил у своего племянника, Николая II, клятвенно заверив его, что не допустит себе «пойти дальше полагающегося». Однако в 1902 году он заключил морганатический брак с Ольгой Валерьяновной, тайно обвенчавшись с ней в Италии в греческой церкви Ливорно. Великий князь наверняка предвидел тяжкие последствия этого поступка, ибо в день отъезда из Петербурга приказал погрузить в свой вагон 3 миллиона рублей из конторы, управлявшей его поместьями.
Предчувствия не обманули его: разгневанный Николай решил примерно наказать дядю: его лишили всех офицерских званий, отчислили со службы, воспретили въезд в Россию. Новую жену ни в России, ни за границей разветвленная романовская родня, рассеянная по всей Европе, как особу царских кровей не признала. Смягчился лишь принц-регент Баварии Луитпольд (в принципе, теперь птица невысокого полета, ибо Бавария уже стала, хоть и на особых условиях, неотъемлемой частью объединенной Германской империи), пожаловавший отверженной женщине титул графини Гогенфельзен. В глазах же царской семьи и высшего света Российской империи Ольга Валерьяновна навсегда осталась «порочной и безнравственной женщиной, хищницей», окрутившей простодушного Павла Александровича. Что касается его детей, Марии и Дмитрия, то над ними учредили официальную опеку великий князь Сергей Александрович и его супруга Елизавета Федоровна. Сергей Александрович в ту пору исполнял обязанности генерал-губернатора Москвы, поэтому подростки переехали в первопрестольную.
Бездетная Елизавета Федоровна чрезвычайно радела о своих племянниках, столь прискорбно осиротевших при живом отце. Она всем сердцем стремилась как можно лучше исполнить свой долг приемной матери, но, судя по их воспоминаниям, получалось это у нее не особенно хорошо. Рано лишившись матери, великая княгиня получила воспитание при дворе своей бабки, королевы Великобритании Виктории, которая не баловала детей особой нежностью. На первом месте стояло исполнение долга и обязанностей отпрыска венценосной семьи, что не предполагало никакой отдушины для неуместного проявления простых человеческих чувств. Дети занимались с несколькими преподавателями, их приобщали к труду и благотворительности, но вот пошалить или излить накопившуюся на душе тоску возбранялось. Что касается общения со сверстниками, то их число ограничивалось сыновьями князя Юсупова, Николаем и Феликсом, хотя они были несколько постарше. Мария и Дмитрий дружно пришли к выводу, что любящие их тетя и дядя – люди чрезвычайно черствые.