Молодой возмутитель спокойствия, который оказался адъютантом Мюрата и другом ее брата Эжена, очень скоро показался Гортензии красивым и обаятельным. Со своей стороны, Шарль, подталкиваемый матерью, установил дружеские отношения с Гортензией, и дружба эта мало-помалу переросла в удивительную историю любви.
Жена Мюрата Каролина, увлеченная в то время Шарлем, страдала от ревности. Отношения между Бонапартами и Богарне никогда не были блестящими, а теперь две претендентки начали враждовать открыто. Шарль, казалось, не замечал дестабилизирующих маневров Каролины, а Гортензия сделала все возможное, чтобы удалить Шарля из штаба Мюрата, и он был переведен в штаб Бертье. Поняв, что проиграла, Каролина переключила свое внимание на парижского губернатора генерала Жюно.
Второй ребенок у Гортензии родился в Париже 11 ноября 1804 года. Ребенка назвали Наполеон-Луи. Впоследствии он женится на Шарлотте Бонапарт, дочери своего дяди Жозефа Бонапарта, и умрет от кори в 1831 году в возрасте 26 лет. Это был любимец Луи Бонапарта, и его смерть, по словам Рональда Делдерфилда, «послужила причиной глубокого горя для его отца, который рассматривал его в качестве принца, наиболее подходящего для восстановления прежней славы фамилии Бонапарт».
5 июня 1806 года Луи Бонапарт был провозглашен королем Голландии. Став королевой, Гортензия временно переехала в Голландию, но там ей было очень плохо: отношения с упрямым, ревнивым и нелюбимым мужем стали просто отвратительными. В довершение всех несчастий ее первый ребенок прожил всего четыре с половиной года и умер от дифтерии. Сломленная горем и дурным обхождением мужа, Гортензия оставила Голландию и вернулась в Париж. Наполеон, кстати сказать, в этой унылой семейной склоке стал на сторону падчерицы, а не брата.
Третий сын Шарль-Луи-Наполеон, будущий император Наполеон III, родился у Гортензии в ночь с 20 на 21 апреля 1808 года во дворце на улице Черутти в Париже. Простые подсчеты показывают, что зачат он должен был быть где-то в конце июля 1807 года. Доподлинно известно, что в июне 1807 года Шарль де Флао находился в Польше и участвовал в сражении при Фридланде. После этого до марта 1808 года он находился в Португалии, а затем был направлен в Испанию. В промежутках между назначениями он на непродолжительное время заезжал в Париж. Узнав о беременности Гортензии, он писал своей матери:
В январе 1808 годя Шарль вновь писал матери:
Можно понять волнение молодого человека, но понять его можно по-разному.
Третий ребенок Гортензии родился на три недели раньше срока. Это дало повод для подозрений… Ревнивый Луи тут же объявил, что этот ребенок не его, и стал требовать от Гортензии признания в содеянных грехах.
Были ли у Луи Бонапарта основания для подобных подозрений? Конечно, были. Во-первых, их первого ребенка в Париже и так уже практически все считали не его сыном, а сыном Наполеона. Как говорится, прецедент имелся. Во-вторых, сам Луи прекрасно понимал, что тяжело болен (он был наполовину парализован, его позвоночник был искривлен, и он с трудом двигался), а в таком состоянии непросто стать отцом. В-третьих, их отношения с Гортензией, и без того отвратительные, к тому времени стали совсем никакими, и моменты их примирения и близости (если таковая еще вообще имела место) можно было пересчитать по пальцам.
Был ли будущий император Франции сыном Шарля де Флао или нет – этого мы никогда доподлинно не узнаем. Зато совершенно точно установлено, что он был отцом четвертого сына Гортензии, родившегося в Швейцарии в Сен-Морис-ан-Вале 15 сентября 1811 года, ставшего известным под именем Шарля-Огюста де Морни и сыгравшего заметную роль в образовании Второй империи.