В этом, по словам А.А. Вырубовой, князь был, увы, не одинок: «…Хронически обиженная “ближайшая” Свита распускала небывалые слухи об влиянии Распутина, обо мне […] и вторили этим слухам, подливая масло в огонь, “обиженные” на Её Величество Великие Княгини Стана и Милица Николаевны за то, что, поняв их игру, Её Величество, после дружбы, их отстранила. Великие Княгини Черногорки стали заклятые враги Государыни. Помню, как посол в Черногории А. Гирс говорил моему отцу в Петергофе, что он должен бы обратить внимание Государыни или Государя на Великих Княгинь, которые хуже заговорщиков против Государыни: “одна умна и зла, другая глупа и зла”, говорил он. Императрица знала, что они Её ненавидят, но Ей было всё равно».
Всему, однако, приходит конец.
«Когда я вошёл в жизнь Двора, – припоминал уже будучи в эмиграции В.Н. Воейков, – счастливая звезда князя Орлова, очевидно, уже закатилась, и из друга Царя, каким он себя выставлял перед высшим обществом, дорожившим блестящими приёмами четы Орловых, он обратился в опального придворного, которого только терпели; также относились и к его главному товарищу по измышлению нелепых, дискредитировавших Государыню, сплетен – бывшему командиру конвоя князю Ю.И. Трубецкому. Их сообщницу – фрейлину С.И. Тютчеву, состоявшую при Великих Княжнах, я уже не застал, так как она была раньше уволена Императрицею».
То же подтверждал также небезупречный верноподданный да к тому же еще и масон начальник Канцелярии Императорского Двора генерал А.А. Мосолов.
Князь В.Н. Орлов, по его словам, «имел неосторожность пустить в обращение несколько весьма едких словечек по адресу старца» (Г.Е. Распутина). Императрица, писал он далее, «стала высказывать Свое неудовольствие Фредериксу, говоря, что Орлов вмешивается в то, что до него не касается, и что Она этого допустить не может. Министр передал Орлову, что ему следует быть осторожнее в своих разговорах». Но, увы, для людей, подобных князю Орлову, Царское слово уже мало что значило.
«Можно было надеяться, – писал далее генерал Мосолов, – что при большей сдержанности князя недоразумение удастся уладить». Однако клеветник уже закусил удила и несся, не разбирая дороги.
По словам В.Н. Воейкова, «расположение Его Величества к князю изменилось, и министру Двора было поручено передать ему, что Государь не желает больше иметь его шофёром, предпочитая ездить с Кегрессом – главным механиком придворного гаража. Это был первый видимый знак охлаждения Государя к князю Орлову.
Второй эпизод произошёл в Ревеле, после свидания Его Величества с Императором Вильгельмом в Балтийском порту.
На это свидание, по настоянию министра Двора, князь Орлов был включён в список лиц, сопровождавших Их Величества на яхте “Штандарт”.
Из Ревеля “Штандарт” шёл с Царской Семьёй в шхеры, и на эту поездку князь Орлов в списке сопровождавших особ не состоял.
Почти перед самым отходом яхты Государыня, узнав, что князь Орлов ещё не съехал на берег, поручила министру Двора напомнить ему, чтобы он покинул “Штандарт”».
В мемуарах А.А. Мосолова читаем: «Был назначен отъезд на “Штандарт”. Когда Орлов туда явился, Царица позвала Фредерикса и заявила ему, чтобы граф приказал князю съехать с яхты, ибо Ее Величество не желает его видеть».
Император Николай II и князь В.Н. Орлов (слева от Него, спиной к зрителю) у Царского автомобиля с гамматическом крестом на капоте
Более подробно этот эпизод описала А.А. Вырубова: «Вспоминаю случай, после которого князь Орлов обиделся окончательно, – это было после одной из официальных встреч в Ревеле или Балтийском порту. Их Величества уходили в шхеры и было приказано графу Фредериксу передать князю Орлову, чтобы он уехал с остальными официально прибывшими лицами обратно в Петроград. «We wanted it to be way in Finland without any gossips» [Нам бы хотелось на пути в Финляндию избавиться от всяких сплетен
Император Николай II и князь В.Н. Орлов (слева от Него, спиной к зрителю) у Царского автомобиля с гамматическом крестом на капоте
«Приведённый в ярость переменой отношения к нему Государя, и приписывая всё это Императрице, князь Орлов, – пишет В.Н. Воейков, – стал изощряться в насмешках и издевательствах над Государынею, совершенно ни перед кем не стесняясь, чем наносил большой вред престижу Трона.
Несмотря на всё ухудшавшиеся к нему отношения со стороны Государя, князь Орлов, тем не менее, продолжал оставаться на занимаемом им посту.
Под конец пребывания Царя в Ливадии, в Ялту приехал на несколько дней Распутин, о чём мои подчинённые мне немедленно донесли, и затем ставили меня в известность о том, где он бывал и с кем виделся.
Приезд его дал лицам Свиты обильную тему для всевозможных острот. Князь Орлов, в ожидании выхода Их Величеств к завтраку, при посторонних Двору лицах, со смехом сказал: “Теперь я спокоен. Распутин приехал – значит, всё пойдёт хорошо”».