Наполеон был теперь особенно деятельным, и жалобы членов семьи, которые в дополнение к секретным докладам об их сложных домашних спорах вызывали немалое раздражение у человека, занятого подготовкой вторжения в Англию и установлением новой социальной структуры. Время от времени он отвлекался от работы, чтобы заняться их переубеждением, но если и это не помогало, он выходил из себя. Так случилось, когда он узнал, что Жозеф поучал свою дочь продолжать обращаться к своему дяде как к «консулу». «Не воображает ли он, что был возведен в ранг имперского принца для того, чтобы водить компанию с моими врагами и прогуливаться по улицам в круглой шляпе и коричневом сюртуке?» — бушевал он, но не предпринимал никаких шагов против своего старшего брата, поскольку для семьи было более чем достаточно иметь одного мятежника. Вместо этого ему пришла в голову идея получше: восстановить юношеский интерес Жозефа к военной жизни, поощрив его к тому, чтобы стать солдатом подобно Луи. И так Жозеф, уже получавший два миллиона франков в год как имперский принц, был добавлен к списочному составу Великой армии в качестве полковника. Но придирки продолжались. Поддержанный Элизой и Каролиной, Жозеф осуждал предварительные договоренности Наполеона в отношении своего преемника и требовал обещания, что его брат не станет короновать Жозефину на предстоящей церемонии в соборе Парижской Богоматери. Признание Жозефины в качестве императрицы, говорил Жозеф, будет означать, что дети Луи и Гортензии получат преимущество над всеми другими внуками Бонапартов. Наполеон был возмущен такой наглостью и горько жаловался на неблагодарность семьи своим придворным, которым оставалось лишь выслушивать его. При этом он отмечал различие в отношениях к нему между членами его собственной семьи и его пасынком и падчерицей. Эжен и Гортензия, утверждал он, были настолько преданы своему отчиму, что не обращали внимания на его связи с женщинами, имевшие место от случая к случаю, и убеждали мать, что ее муж был все еще сравнительно молодым мужчиной и что подобные эпизоды ничего не означали. Продолжая ворчать, он отмечал, что братья и сестры раздражали его постоянными ссылками на возможность его смерти, и добавлял, что если он не обретет счастья в своей домашней жизни, то превратится в весьма жалкого человека!
В это время разрыв между семьями Бонапарт и Богарне становился все шире, но при этом братья и сестры, по всей видимости, теряли почву под ногами, так как их продолжавшиеся подкалывания побуждали Наполеона защищать женщину, чье поведение после его возвращения из Египта было безупречным и которая теперь, как казалось, ценила его подлинное величие. «Она хорошая жена для меня! — заявлял он. — И она будет коронована, даже если это будет мне стоить две тысячи человек!»
И он сдержал свое обещание, но прежде, чем коронация состоялась, в семье возникли новые раздоры, и на этот раз они проистекали из источника, который сильно тревожил императора и императрицу. Брак между Луи и Гортензией явно терпел неудачу.