Вскоре офицеры и солдаты объяснили себе по-своему отношения их генерала к этой молоденькой, миловидной женщине. Они не могли себе представить, чтобы молодой мужчина, солдат, мог целыми часами оставаться наедине с хорошенькой женщиной единственно с целью духовного общения. Репутация мадам де-Ремюза весьма пострадала, и впоследствии ей стоило большого труда отклонить от себя подозрения в том, что она была возлюбленной Наполеона. Даже Жозефина, которая была о ней такого высокого мнения, и та одно время ревновала к ней своего мужа. Но у нее не было для этого абсолютно никакой причины. Мадам де-Ремюза была вполне честная женщина, чистая и в мыслях, и в поступках. Она была лишь супругой и матерью. Она любила своего мужа и своего сына, которого родила на восемнадцатом году. Ее семья и ее дом были для нее все. Правда, ей очень хотелось бы быть при этом человеке, державшем в своих руках судьбы народов, интимной поверенной, советчицей, чем-то вроде фаворитки в особом смысле слова, но отнюдь не любовницей. Ее женскому тщеславию льстило, что первый консул оказывал ей предпочтение, что он снисходил до того, чтобы излагать перед ней свои взгляды на вещи и людей, и она мечтала об его расположении и своем влиянии на него, не желая при этом, однако, отдавать больше, чем свой ум и свои познания. Но тут она ошиблась в расчете, как и мадам де-Сталь. Неудовлетворенные честолюбивые стремления и оскорбленное самолюбие мало-помалу оттолкнули ее, наконец, от Наполеона.
Император, однако, не отплатил ей за это отчуждение, как своему сильному женевскому врагу. И несмотря на то, что во время Империи мадам де-Ремюза все более и более примыкала к его врагам или, выражаясь мягче, окружала себя людьми, неприятными Наполеону, этот последний никогда не переставал уважать и ценить ее. Мадам де-Ремюза оставалась при Жозефине до самой ее смерти. Также и ее муж, которым Наполеон тоже отнюдь не всегда был доволен, оставался на своем посту камергера до самого падения Империи. Только щедрость Наполеона сократилась, потому что вначале он буквально осыпал супругов Ремюза подарками и наградами. Они были почти совершенно без средств, когда заняли свое положение при консульском дворе, и покинули богатыми развалины Империи, чтобы перейти на сторону Бурбонов в качестве одной из первых фамилий Франции.
Во время консульства и Империи мадам Ремюза, так же, как и мадам Жюно, имела привычку после всякого знаменательного или интересного дня записывать свои наблюдения, впечатления и разговоры как с Наполеоном, так и с другими значительными личностями при дворе, и таким образом составились ее мемуары. Однако, когда рухнула Первая Империя и Бурбоны водворились во Франции, мадам де-Ремюза побоялась прослыть за бонапартистку и уничтожила рукопись. И только когда в 1818 году появилось произведение мадам де-Сталь «Considérations sur la révolution Française», содержавшее в себе многочисленные замечания относительно личности и правления Наполеона и имевшее значительный успех, мадам де-Ремюза решилась, по настоянию своего сына, еще раз по памяти восстановить свои воспоминания.
Нетрудно сообразить, в каком духе написаны эти мемуары. Уже в правление императора мадам де-Ремюза вошла в дружеские отношения с попавшим в немилость министром Талейраном, а во время Реставрации ее отношение к Наполеону и его политике сделалось еще более отрицательным. Также и либеральный образ мыслей ее сына, в котором когда-то ей хотелось видеть историографа своего героя, способствовал резкости ее суждений. Что она, однако, боялась более строгого осуждения потомства, явствует из ее письма к сыну от 8 октября 1818 года, где есть такое выражение: «Что могут обо мне подумать, если мой сын опубликует все это?».
Эти написанные рукой женщины воспоминания можно было бы причислить к важнейшим документам наполеоновской эпохи, если бы они не были проникнуты такой ненавистью к замечательнейшему человеку своего времени. Знаток, конечно, всегда сумеет извлечь из них пользу, потому что они содержат массу подробностей относительно жизни императора и его семьи, и если подойти к ним с осторожностью, то можно сделать ряд интересных умозаключений. Мы обязаны мадам де-Ремюза также и обстоятельным изображением его внешней и внутренней личности, и если тщательно отделить зерна от плевел, то портрет первого консула и императора выступает во всей своей выпуклости и характерности. И хотя мадам де-Ремюза не пропускает ни одного случая, чтобы выбранить Наполеона, все же между строк можно прочесть ее прежнее безграничное обожание к победителю Монтенотта, Арколя, Риволи, в стране пирамид и при Маренго. Этот образ молодого героя остался незапятнанным в ее памяти.