Таковы были нравы при дворе Николая Павлович. Злые языки уверяли, что многие миловидные фрейлины, прежде чем выйти замуж, пользовались особой «милостью» монарха. На этой почве случались и драмы. Рассказывали, например, про обманутого таким образом В. П. Никитина, полковника лейб-гвардии гусарского полка, неосторожно женившегося на баронессе Ольге Петровне Фредерике, которая, впрочем, не была фрейлиной, хотя и пользовалась благосклонностью императора. Вокруг трона складывались легенды, похожие на непристойные анекдоты, и если одна десятая этих сплетен была достоверной, то и этого достаточно, чтобы составить себе представление о Николае Павловиче как о человеке далеко не целомудренном. Уверяли, например, что возвышение Клейнмихеля объяснялось услугами, какие оказывала любовницам царя жена этого типичного деятеля николаевского царствования: госпожа Клейнмихель выдавала будто бы за своих незаконнорожденных младенцев государя. Впрочем, для возвышения Клейнмихеля были и другие основания: в его доме жила та самая Варенька Нелидова, связь которой с императором теперь для нас несомненна. В 1842 году графиня Нессельроде писала между прочила своему сыну: «Государь с каждым днем все больше занят Нелидовой, у которой такое злое выражение лица. Кроме того, что он к ней ходит по нескольку раз в день, он и на балу старается все время быть близ нее. Бедная императрица все это видит и переносит с достоинством, но как она должна страдать». Тогда, в 1842 году, для Нессельроде еще было неясно, какого характера этот роман императора. «Все общество, как каждый его член в отдельности, чувствует к императрице либо преданность, либо восхищение ее неизменной кротостью относительно этой Нелидовой, которая постоянно у нее перед глазами и в которую государь продолжает быть влюблен, не имея ее еще своей любовницей, что все-таки странно, если подумаешь, что он ходит к ней во всякое время дня. На балу, на виду у всего общества, не заботясь о том, что станут говорить, он часто к ней подходит, ужинает подле нее, с другой, выбранной им дамой».
Через три года, вероятно, и Нессельроде убедилась, что в отношениях Николая Павловича к Нелидовой не было ничего «странного». Все было очень натурально, По-видимому, эта длительная связь не мешала царственному ловеласу развлекаться и с другими дамами. Та же Нессельроде пишет сыну: «Наш хозяин (Николай Павлович) не пропустил ни одного маскарада; оставался там до трех часов утра, разгуливая с самою что пи есть заурядностью. Одна из этих особ, с которыми он не опасается говорить запросто, сказала твоему дяде, что нельзя себе представить всей вольности его намеков. Об этом рассказывают, и вот как, благодаря этому и еще кое-чему, утрачивается к нему уважение».