Братья Наполеона были одержимы фантазией, что они сами или же их дети унаследуют от Наполеона трон. В какой-то момент Жозеф настолько поддался опьяняющему возбуждению, что выстрелил из пистолета в портрет императора, обозвав при этом последнего «тираном». Жозеф пришел в негодование, когда Наполеон предложил усыновить сына Луи-Шарля Наполеона, внука Жозефины, в качестве своего наследника, и отчаянно цеплялся за свои «права» старшего брата. В свою очередь Луи отказался передать пальму первенства собственному сыну. С другой стороны, Люсьен, который возвратился в Париж, слышать не хотел, чтобы его сын от мадам Жубертон оказался исключенным из числа наследников, и вскоре, взбешенный, снова уехал в Италию. В конце концов удалось достичь компромисса.
Был установлен следующий порядок наследования: первым в ряду стоял Жозеф, за ним шел Луи, затем их потомки по мужской линии. Правда, император оставил за собой право усыновить любого принца из императорской семьи в качестве наследника по достижении последним восемнадцати лет. Наполеон также выдвинул условие, что его наследник должен служить в армии, а чтобы эта оговорка не мешала Жозефу, император объявил, что брат «выразил свое желание разделить все тяготы армейской жизни в прибрежном лагере в Булони, чтобы таким образом приобщиться к военной доблести». После этого Бонапарт снабдил брата совершенно неслыханным послужным списком, в котором утверждалось, будто Жозеф участвовал во всех кампаниях 1793–1794 годов и даже был ранен при осаде Тулона. Жозеф отправился на несколько недель в Булонь, где, по всей видимости, посвятил все свое время местным дамам легкого поведения. Скрыв свою внешность под париком и очками, он в первую очередь наведался к мадам Фаган — «очаровательной особе из Дюнкерка», к которой благоволили несколько генералов, включая Сульта. У Жозефа там имелось по меньшей мере еще четыре любовницы, среди них одна актриса, супруга одного из приятелей и супруга молодого офицера. В ответ на жест Наполеона Жозеф милостиво согласился позволить собственной супруге Жюли вместе с Элизой, Полиной, Каролиной и Гортензией нести на предстоящей коронации шлейф Жозефины. При этом сам он морщился, глядя на смехотворный костюм, в котором должен появиться на этой церемонии.
Во время государственного банкета в Сен-Клу, который состоялся 18 мая после провозглашения Империи, во всеуслышание было объявлено, что не только Жозеф и Луи стали принцами, но и их супруги тоже удостоены титула принцесс и обращения «Ваше высочество». Элиза и Каролина остались без титулов. Одна из фрейлин Жозефины, мадам де Ремюза, пишет; «… С мадам Баччиоки и мадам Мюрат едва не случился удар, когда они услышали о различии между ними и их золовками. В особенности мадам Мюрат не могла скрыть своего негодования… Во время обеда она совершенно не могла совладать с собой и, услышав, как император несколько раз назвал супругу Луи (Гортензию) принцессой, была не в силах сдержать слезы. Ей пришлось выпить несколько стаканов воды, чтобы как-то скрыть свое волнение, и делать вид, что она занята пищей, но под конец рыдания взяли над ней верх. Мадам Баччиоки постарше и лучше владеет собой, поэтому она не расплакалась, но держала себя резко и надменно, особенно по отношению к фрейлинам…»
Элиза и Каролина отправились по домам в бешенстве. Несомненно, они видели в этом еще одну победу Жозефины.
Буквально на следующий день, как сообщает нам мадам де Ремюза, которая находилась в соседней комнате, Каролина имела с глазу на глаз беседу с Наполеоном в будуаре императрицы. (У Элизы хватило благоразумия остаться дома, ведь неприязнь брата была ей прекрасно известна). Из будуара доносились рыдания и вопли. Каролина «требовала объяснения, почему с ней и с сестрами так жестоко обошлись, обрекая их на публичное презрение, в то время как на чужаков, как из рога изобилия, сыпались милости и титулы». Император холодно отвечал: «Послушать тебя, так можно подумать, будто я тебя ограбил, отняв все наследство нашего батюшки-короля». Каролина решила разыграть последнюю карту и без чувств рухнула на пол. Как ни странно, один из самых выдержанных мужчин в мире попался на крючок этой старой как мир женской хитрости. На следующий день официальный журнал «Moniteur» объявил: «Принцы и принцессы Франции удостоены титула Императорского высочества. Сестры императора будут носить такой же титул». В добавок ко всему Баччиоки в спешном порядке был повышен в ранге до генерала и получил сенаторское кресло.
Родительница всего клана тоже не собиралась отказываться от своей доли почестей. Она так расстроилась, что покинула Рим, чтобы отправиться на воды в Лукку. 9 июля Феш по ее просьбе написал Наполеону, жалуясь, будто редкие письма сына усиливают ее нездоровье.