Среди современников сложилось мнение, что Николай I был грозой всего женского мира Петербурга. Добролюбов, современник Николая I, писал: «Всякому известно, что Николай пользовался репутацией неистового рушителя девических невинностей. Можно сказать положительно, что нет и не было при дворе ни одной фрейлины, которая была бы взята ко двору без покушения на ее любовь самого государя… Едва ли осталась хоть одна из них, которая бы сохранила свою чистоту до замужества. Обыкновенно порядок был такой: брали девушку знатной фамилии во фрейлины, употребляли ее для услуг благочестивейшего, самодержавного государя нашего, и затем императрица Александра (жена Николая) начинала сватать обесчещенную девушку за кого-нибудь из придворных женихов». Так была выдана замуж, например, фрейлина баронесса Фредерике. Ее мужем стал полковник Никитин. В интимной близости с Николаем I была замечена фрейлина Рамзай, дочь финляндского генерал-губернатора, а также фрейлина Амалия Крюденер. Называли еще имена фрейлин Пашковой, Баратынской, Александры Россет, принцессы Або-Мелик.
Предметами многочисленных мимолетных увлечений Николая I были и дамы из аристократической среды. Это, в частности, княгиня Зинаида Юсупова, княгиня Урусова, княжны Хилкова, Долгорукова и другие. Обычно представительницы аристократических и богатых семейств шли навстречу «пожеланиям» Николая I. Незаурядную карьеру, например, сделал сенатор Михаил Бутурлин, сыгравший роль сутенера для императора и жены своего родного брата – известной красавицы Елизаветы Бутурлиной, урожденной Комбурлей. В общем, женщин, которых любил Николай, было не счесть. В. Кукольник, в молодые годы преподававший Николаю основы права, в своих записках приводит более сотни имен, частью зашифрованных.
Однако, несмотря на пристрастие государя к кратковременным «дурачествам», была у него одна постоянная привязанность. Ее звали Варвара Нелидова. Она была племянницей той самой фаворитки императора Павла I Екатерины Нелидовой. Николай любил участвовать в маскарадах. Как-то в 1838 году он танцевал на маскараде с Нелидовой. Во время танца у них завязался разговор, в котором Варвара сообщила о некоторых подробностях жизни государя в младенчестве, которые она узнала от своей тетки. В том же году Нелидова стала фрейлиной двора и фавориткой Николая. Ей было всего 23 года; она не была красавицей, как и ее тетушка, но обладала общительным и веселым нравом. По воспоминаниям дочери императора Ольги, Николай Павлович любил попить чаю в обществе Варвары, во время которого она «угощала» его анекдотами и рассказывала их так умело, что император хохотал до слез. Нелидова была слишком умна, чтобы афишировать свой фавор, и всегда держалась скромно, с достоинством. Все та же мемуаристка А. Ф. Тютчева отмечала, что «она была увлечена чувством искренним, хотя и греховным, и никто даже из тех, кто осуждал ее, не мог отказать ей в уважении». А она просто была обаятельной. Многие современники утверждали, что она любила Николая Павловича искренне и никаких выгод от их «дружбы» не искала.
В течение целых 17 лет она была «теневой» супругой Николая I и родила ему нескольких детей. С этими детьми связана интересная история. У Варвары Нелидовой был родственник – Петр Клейнмихель, генерал-адъютант в свите Николая I. Еще больше он возвысился (до министра путей сообщения), став воспитателем внебрачных детей императора. Вторым браком Петр был женат на молодой бездетной вдове Клеопатре Хорват. После того как на Нелидову обратил внимание Николай I, у Клейнмихеля один за другим появились пять сыновей и три дочери, хотя было известно, что с первой женой он развелся из-за своего бесплодия. Рассказывали, что когда очередная пассия Николая I оказывалась в «интересном положении», то жена Клейнмихеля имитировала беременность, увеличивая объем живота накладными подушечками и поясами. Она все больше наращивала свой объем, пока не происходили роды у любовницы императора. Тогда Клеопатра являла обществу очередного мальчика или девочку, которую записывала на фамилию мужа, хотя у нее самой детей никогда не было. Кто из этих детей был рожден Нелидовой – теперь не разберешь, но говорили о трех младенцах. Интересно, что князь Долгоруков, составитель Российской родословной книги, изданной в 1855 году, упомянул в ней только отца, мать и трех сестер Петра Клейнмихеля. Ни о его жене, ни о детях не было сказано ни слова. Видно, князь Долгоруков твердо знал, что потомки Клейнмихеля вовсе не его дети, хотя и носят его фамилию.