Царская чета, чувствуя себя виноватой в том, что случилось с молодой фрейлиной, пригласила ее отправиться с ними в двухнедельный ежегодный круиз по Балтийскому морю, к финским берегам. Во время этого короткого путешествия их отношения так укрепились, что Вырубова стала почти членом императорской семьи. Из Петербурга она переселилась в Царское Село, где к ее услугам предоставили небольшой коттедж. Вырубову не смущало, что этот домик считался летним, у него не было фундамента и зимой пол покрывался инеем, зато она находилась рядом с императрицей. Анна разделяла с царской семьей все радости и горести. Николаю и Александре больше всего нравилось, что, в отличие от других придворных и родственников, Вырубова всегда соглашается с их мнением (оба не любили, чтобы им возражали). Императорская чета, к своему несчастью, не замечала или не хотела замечать, что Анна говорит то, что они хотят слышать, а не то, что есть на самом деле.
Вырубова была странной фавориткой. От царской семьи она не требовала ни титулов, ни должностей, ни денег. Правда, императрица оплачивала ее платья и время от времени давала несколько сотен рублей на расходы. Свое скромное для царской любимицы состояние Вырубова почти целиком потратила в годы Первой мировой войны на сооружение одного из госпиталей в Царском Селе.
Некрасивая, не слишком умная, недостаточно образованная Анна Вырубова вызывала при дворе общее раздражение. В этом отчасти была виновата Александра Федоровна, которая не подпускала к себе и к своей семье великих княгинь и княжон, состоявших с императором в прямом родстве, зато почти ежедневно по-родственному тепло и запросто принимала фаворитку. Многие придворные считали, что у императорской семьи должны быть более достойные и представительные друзья. Французский посол в России Морис Палеолог, возмущаясь в своих мемуарах примитивностью и безвкусием Анны, практически выражал общее мнение по этому поводу: «Не было еще царского фаворита, выглядевшего более скромно. Она была плотной, грубо и широко скроенной, с лоснящимися волосами, толстым носом, полным невинным лицом с розовыми щеками, широкими, поразительно ясными глазами и полными мясистыми губами. Она была всегда очень просто одета и ее дешевые украшения имели провинциальный вид».
Александра Федоровна, наоборот, ценила в Вырубовой простоту и бескорыстие. Императрица не терпела никакой критики в адрес своей подруги и всегда с удвоенным ожесточением ополчалась против ее противников. Чтобы оградить юную протеже от интриг и козней двора, она до 1904 г. не давала ей официального статуса фрейлины. В те времена императрица говорила: «Я никогда не дам Анне официального места. Она мой друг, и я желаю сохранить ее таковой. Наверное, императрица пока еще имеет право женщины выбирать себе друзей». Но в начале русско-японской войны, когда Александра Федоровна начала играть более активную роль в политике и ей понадобился доверенный помощник, она все-таки сделала Вырубову фрейлиной.
Участие Анны в политических делах, пусть и в роли «проводника» или «идеальной граммофонной пластинки», как отзывались о ней современники, сделали ее мишенью для нападок как со стороны аристократии, так и со стороны русских революционеров. Ей приписывали развратное поведение, организацию отвратительных оргий в императорском дворце, говорили, что она на пару с Распутиным гипнотизировала царя, парализуя его волю, травила его наркотиками и завлекала в пучину разврата. В столице ходили слухи, что Вырубова сожительствует одновременно с Николаем II и Распутиным и крутит обоими по своей воле. К изумлению общества, когда этого «монстра» министр юстиции Временного правительства в 1917 г. наконец посадил за решетку, все эти обвинения рассыпались, как карточный домик. Защищая себя, Вырубова потребовала медицинской экспертизы. Обследование, проведенное в мае 1917 г., показало, что «злой гений разврата», «Распутин в юбке» оказалась девственницей (Вырубов был беспомощен не только как командир корабля, но и как супруг). Однако отрицать дурное влияние Анны на императрицу, видимо, все же не следует. Она не противостояла ложным идеям и неверным поступкам императрицы, а горячо поддерживала их, чем укрепляла в уверенности собственной правоты, уверенности, пагубной для семьи Романовых и Российской империи.