Семья Нелидовых была многочисленной, у Варвары Аркадьевны было шесть братьев и шесть сестёр.
Дочь императора Ольга Николаевна относилась к фаворитке отца с большой симпатией. В своем дневнике она писала: «Варенька Нелидова была похожа на итальянку со своими чудными темными глазами и бровями… была веселой, она умела во всем видеть смешное, легко болтала и была достаточно умна, чтобы не утомлять… она была прекрасна душой, услужлива и полна сердечной доброты…»
Указывают, что среди его многочисленных мимолетных романов это была единственная серьезная связь, продолжавшаяся почти 17 лет.
Вероятно, отношения начались, когда после 7-х родов 34-летней императрицы Александры Федоровны врачи запретили императору супружеские отношения с ней из опасений за ее здоровье.
Надо полагать, что находящийся в самом соку царь недолго оставался одни, присматривая себе женщину.
«На одном из маскарадов, — писала великая княгиня Ольга Николаевна, — Папа познакомился с Варенькой Нелидовой, бедной сиротой, младшей из пяти сестер, жившей на даче в предместье Петербурга и никогда почти не выезжавшей.
Её единственной родственницей была старая тетка, бывшая фрейлина Императрицы Екатерины Великой, пользовавшаяся также дружбой Бабушки. От этой тетки она знала всякие подробности о юности Папа, которые она рассказала ему во время танца, пока была в маске. Под конец вечера она сказала, кто она. Ее пригласили ко Двору, и она понравилась Маме. Весной она была назначена фрейлиной.
То, что началось невинным флиртом, вылилось в семнадцатилетнюю дружбу. В свете не в состоянии верить в хорошее, поэтому начали злословить и сплетничать.
Признаюсь, что я всегда страдала, когда видела, как прекрасные и большие натуры сплетнями сводились на низкую степень, и мне кажется, что сплетники унижают этим не себя одних, а все человечество.
Я повторяю то, о чем уже говорила однажды: Папа женился по любви, по влечению сердца, был верен своей жене и хранил эту верность из убеждения, из веры в судьбу, пославшую ему ее, как Ангела-Хранителя».
А. И. Соколова писала: «Больших и особенно знаменательных увлечений за императором Николаем I, как известно, не водилось. Единственная серьезная, вошедшая в историю связь его была с Варварой Аркадьевной Нелидовой, одной из любимых фрейлин Александры Федоровны. Но эта связь не могла быть поставлена в укор ни самому императору, ни без ума любившей его Нелидовой. В нем она оправдывалась вконец пошатнувшимся здоровьем императрицы, которую государь обожал, но которую берег и нежил. Как экзотический цветок. Нелидова искупала свою вину тем, что любила государя всеми силами своей души, не считаясь ни с его величием, ни с его могуществом, а любя в нем человека. Императрице связь эта была хорошо известна… Она, если так можно выразиться, была санкционирована ею».
В 1842 году графиня Нессельроде писала сыну: «Государь с каждым днем все больше занят Нелидовой. Ходит к ней по нескольку раз в день. Он и на балу старается все время быть близ нее. Бедная императрица все это видит и переносит с достоинством, но как она должна страдать!»
Все современники отмечали удивительную красоту Нелидовой, а также очень глубокое чувство, которое она питала к императору. Кроме того, Варвара никогда не пользовалась своим положением ради удовлетворения честолюбия и, более того, эта многолетняя внебрачная связь императора все эти годы сохранялась в глубокой тайне.
«Все делалось так скрыто, — рассказывала фрейлина Мария Фредерике, — так благородно. Например, я, будучи уже не очень юной девушкой, живя под одним кровом, видясь почти каждый день с фрейлиной Нелидовой, долго не подозревала об отношениях, существовавших между императором и ею.
Она не помышляла обнаруживать свое исключительное положение между своих сотоварищей фрейлин, держась всегда так спокойно, холодно и просто. Она была достойная женщина, заслуживающая уважения, в особенности в сравнении с другими того же положения».
«Ее красота, — писала в своих воспоминаниях Анна Тютчева, познакомившаяся с Нелидовой в начале 1850-х годов, — несколько зрелая, тем не менее, еще была в полном своем расцвете. Ей, вероятно, в то время было около 38 лет. Известно, какое положение приписывала ей общественная молва, чему, однако, казалось, противоречила ее манера держать себя, скромная и почти суровая по сравнению с другими придворными она тщательно скрывала милость, которую обыкновенно выставляют на показ женщины, пользующиеся положением, подобным ее. Причиной ее падения было ни тщеславие, ни корыстолюбие, ни честолюбие. Она была увлечена чувством искренним, хотя и греховным, и никто даже из тех, кто осуждал ее, не мог отказать ей в уважении…»