Луи ничем не мог удовлетворить своего брата, и проявления имперского неудовольствия сопровождали большинство из его самых обычных действий. В январе 1807 года, когда он правил Голландией уже в течение нескольких месяцев, в Лейдене случилась национальная катастрофа. Там на канале взорвалось несколько барж, загруженных взрывчатыми веществами, что вызвало многочисленные жертвы и разрушение восьмисот домов. Луи, расстроенный ужасным состоянием горожан, организовал общественные сборы и проехал по всей стране, собирая средства, но по каким-то причинам Наполеон усмотрел в этом доброжелательном поступке ущерб для королевского достоинства, и последовали новые едкие письма, повергшие Луи в отчаяние. Возникли и еще большие неприятности с неудачной попыткой Луи распределить поставки неизбежной квоты солдат для Великой армии. Когда сильно расстроенный король написал письмо, отмечая, что он уже выделил почти половину от общего числа требуемых людей, Наполеон подверг сомнению такую цифру и резко пожаловался на качество голландских новобранцев, которые прибыли к нему.
Так это и продолжалось: почти бесконечный обмен обвинениями и извинениями, подобный нити, сшивающей крой имперской политики для Голландии. Подвергалось осуждению и поведение Луи в отношении его жены. «Ты обращаешься со своей женой, будто командуешь полком, — писал Наполеон на этот раз из Польши, где он жил со своей польской любовницей Марией Валевской. — Позволь ей танцевать столько, сколько ей нравится. Это соответствует ее возрасту. У меня вот жена, которой сорок лет (Жозефине в то время было сорок четыре года), и с поля боя я рекомендую ей ходить на балы, а ты хочешь, чтобы молодая женщина двадцати лет жила в заточении или, подобно нянюшке, постоянно омывала детей!.. Сделай же счастливой мать твоих детей… тебе следовало бы иметь жену наподобие некоторых из тех, которых я знаю в Париже. Она смогла бы обманывать тебя, а ты бы оказался у ее ног».
В результате такого отеческого совета Луи босиком ринулся в будуар жены и прорычал, что она не имеет права жаловаться на него за его спиной. Гортензия отрицала какие-либо жалобы со своей стороны, но он не верил ей и отказывался принять ее опровержения, будто она предала его в объятиях любовника. Очень трудно теперь определить, были ли оправданы подозрения Луи в отношении верности его жены или же они питались семейными сплетнями, направленными на дискредитацию Жозефины с использованием ее дочери. В своих мемуарах Гортензия снова и снова утверждает, что подозрения были беспочвенны, но при чтении между строк становится, по крайней мере, очевидным, что ей нравилось флиртовать с несколькими молодыми офицерами, и даже если она держала эти связи в разумных пределах, ее поведение как королевы было неосторожным. И она все еще была тайно влюблена в де Флаота, что подтверждалось любопытным разговором, который имел место между Гортензией и Каролиной приблизительно в это время. Каролина притворилась, что прониклась доверием к своей невестке, и призналась, что сама испытывала любовь к де Флаоту, а он будто бы сказал ей, что связан обещанием с Гортензией. Гортензия была поражена таким откровением, явно считая этого красивого молодого офицера своим личным поклонником, но сомнительно, чтобы в тот период он был ее любовником, хотя определенно он стал им позже, когда жизнь с Луи была более невыносимой для женщины, ценившей чувство собственного достоинства.
Луи предпринял несколько попыток поправить брак, но его предложения всегда сопровождались множеством условий и помпезных призывов к «правдивости при нарушениях приличий» со стороны его жены. Гортензия, хотя и была по природе своей скромной и несомненно израненной этим тяжелым человеком женщиной, проявила не меньшее упорство. Так что ничего не вышло из его неистовых воззваний даже тогда, когда он послал ей длиннющий список предложений, которые читаются как условия мирного договора между двумя враждующими государствами. После провала этой яростной попытки к примирению Луи прибег к слежке за своей женой и посадил в ее прихожей французского лакея с указанием «замечать все, что происходит, когда стемнеет, в апартаментах его жены, даже прибытие и уход ее посетительниц-женщин».