Положение г-жи Рекамье в политической обстановке того времени было сложнее, чем кажется. Она была связана со всеми общественными течениями, но у них всех был повод ее критиковать. В свое время ее нейтралитет ценили, теперь же, когда в обществе произошла перестройка, а оппозиционные фракции определились перед лицом власти, захваченной одним человеком, нейтралитет превратился в недостаток.
Взять хоть роялистов: всем известна дружба Жюльетты с Монморанси, Ноайлями, Сегюрами, Ламуаньонами, равно как и ее отношения с такими деятелями, как старый Лагарп (который к тому времени только что умер), послами Австрии и Пруссии, членами королевских семей, бывавших в Париже, как, например, герцог Вюртембергский, ухаживавший за нею на балу в Опере. Не забыли и того, что г-н Бернар лишился должности за помощь им. Они знали, что находятся под наблюдением (Адриана даже только что выслали за то, что он в письме, перехваченном «черным кабинетом», назвал Бонапарта «прохвостом»), знали они и то, что Жюльетта в хороших отношениях с Фуше, что может пригодиться… И тем не менее «агенты Людовика XVIII» в Париже не щадили г-жу Рекамье, чей муж был в их глазах одной из финансовых опор «узурпатора».
Либералы: известно, что она с детства дружила с Камилем Жорданом и Лемонтеем, который до самой смерти будет ужинать у нее по субботам. Не говоря уже о Дежерандо, Бенжамене Констане и баронессе из баронесс… И всё же, что думали эти просвещенные — и встревоженные — умы о салоне Жюльетты, наполненном довольными собой рубаками, у которых конституционные тонкости вызывали зубовный скрежет и которые, дай им волю, навели бы порядок во всей этой «метафизике», как говорил их командир… Они знали о ее более чем тесных связях с некоторыми, очень влиятельными членами семьи Бонапарта, в которой они уже видели своего рода мафию, готовую рвать глотку за с таким большим трудом добытые привилегии…
Что до республиканцев, или до того, что от них осталось, они корили г-жу Рекамье за ее огромное состояние, социальную элитарность, близость с обладателями знатных фамилий прежнего и нового режима.
В Тюильри всё это осознавали, но, несмотря на свою суровость, Бонапарт не был бесчувствен к чарам Жюльетты. Поэтому он щадил ее, и она пользовалась относительным, но все-таки доверием, когда оно ей требовалось, чтобы помогать другим. Таким образом Жюльетта, заручившись поддержкой во всех кругах, сохранила некую неприкосновенность.
Она независима, не следует никакой конкретной идеологии: ее темперамент оберегает ее от всяких излишеств, эксцессов, как в образе мыслей, так и в действиях. Она не способна шумно отстаивать какую-либо идею, в душе она не борец, ее оценки четки и проницательны, хотя у нее не политический ум. Вот только она не выносит, когда трогают ее друзей. И она спокойно и искренне принимает сторону несчастной и преследуемой дружбы.
В конце сентября 1803 года г-жа де Сталь поселилась в Мафлие, неподалеку от Парижа. Она написала Первому Консулу, прося разрешения провести два месяца в деревне в сорока километрах от Парижа, чтобы поправить здоровье детей и уладить финансовые дела супруга, и получила ответ, что, если она не уедет сама, жандармы отконвоируют ее до самого Коппе. Дело плохо.
Г-жа де Сталь приехала на несколько дней в Сен-Брис. Жюльетта была взволнована: «Я стала свидетельницей ее отчаяния. Она написала Бонапарту: „Какой жестокой славой вы меня наделили, я стану одной из строк в Вашей истории“. Я страстно восхищалась г-жой де Сталь. Разлучивший нас поступок жестокого произвола явил мне деспотизм в своем самом отвратительном проявлении. Мужчина, изгонявший женщину, и какую женщину, причинявший ей такую боль, в моих мыслях мог быть лишь безжалостным деспотом; с тех пор мои желания были направлены против него, против его восшествия на трон, против установления безграничной власти».
15 октября Первый Консул послал в Мафлие жандарма с предприсанием выехать в двадцать четыре часа за сорок лье (160 километров) от Парижа. Г-же де Сталь оставалось лишь подчиниться и собрать чемоданы. Она проехала через Сен-Брис, чтобы попрощаться с прекрасной подругой, и застала там Жюно, военного губернатора Парижа, обещавшего вступиться за нее. На следующий же день Жюльетта отправила г-же де Сталь письмо, извещающее о результате этого ходатайства: Первый Консул милостиво разрешил г-же де Сталь не покидать пределов Франции и даже, если захочет, поселиться в Дижоне. Она взывала к терпению и сдержанности подруги в надежде на благополучное разрешение конфликта. Однако письмо не дошло до адресатки. Она покинула Францию на несколько лет.
Вскоре после этого Жюльетта, невзлюбившая человека, который обидел ее подругу, стала внимательнее прислушиваться к проектам Бернадота.