Предупреждения разочарованного императора не возымели никакого эффекта. Отто предавался своей разгульной жизни слишком долго, чтобы резко ограничить свои пагубные привычки. Возможно, что сифилис, которым он страдал, был причиной все более скандальных сцен. В одну из ночей он появился в известной гостинице «Захер» пьяным и полностью обнаженным, не считая военного шлема на голове и пояса с саблей. Никто, включая его жену, не испытывал к нему большой симпатии. Сифилис пожирал его когда-то красивое лицо, и ему пришлось надеть кожаный нос. Когда врачи провели трахеотомию, Отто исчез из поля зрения общественности. Последние дни своей буйной жизни он провел, скрываясь вдали от Вены, игнорируя Марию Йозефу и находясь под присмотром своей заботливой мачехи и Луизы Робинсон, его последней любовницы, которая безуспешно пыталась скрывать свое сомнительное прошлое, нося монашеские одежды и называя себя сестрой Марфой.
Когда Мария Тереза написала Францу Фердинанду, что Отто в плачевном состоянии и конец его близок, перед эрцгерцогом встала моральная дилемма. Стоило ли ему отправиться к своему брату? Несмотря на свою беспутную жизнь, Отто никогда не простил своему брату его женитьбу на Софии. Он осуждал их союз, не явился на их свадьбу и не пожелал встречаться с новой принцессой. Когда Франц Фердинанд не захотел навестить своего брата, лежащего на смертном одре, — это было расценено как акт мести и породило слухи о том, что София хотела так наказать своего деверя. Но в действительности дело было не в черствости. Конечно, на принятие такого решения повлияла и горечь от их предыдущих отношений, но основная причина крылась в возникшей проблеме, которая выходила далеко за границы чувства предательства к умирающему. Любовница Отто всегда была на его стороне, и у Франца Фердинанда не было ни малейшего желания встречаться с ней и делиться с ней своим горем. Даже собственная жена Отто не захотела прийти к умирающему мужу. Сама мысль об этом была неприемлема для глубоко религиозного Франца Фердинанда. Когда 1 ноября 1906 г., в возрасте сорока одного года, Отто умер, Франц Фердинанд и София пошли в небольшую часовню в Бельведере, встали на колени и помолились за упокой его души. «Вы можете себе представить, — признается обычно сдержанный Франц Фердинанд в письме своему другу, — что я чувствовал и что я переживал. Вы знаете, как близки мы были раньше и как мы провели вместе практически все детство и юность. Бедный Отто ужасно страдал в течение последнего года, и смерть стала настоящим облегчением для него… Дай Бог ему вечный покой».
Фердинанд Карл, младший брат эрцгерцога, исчез из поля зрения общественности. Тихий, мягкий человек, увлекающийся литературой, искусством и наукой, — он также не принял брак Франца Фердинанда и осуждал его, пока не столкнулся с собственными романтическими приключениями. Вскоре после того как сыграли свадьбу в Рейштадте, Фердинанд Карл влюбился в Берту Чубер, дочь венского профессора. Она была умна, элегантна и красива, но признание Фердинанда Карла, что он хочет жениться на ней, ошеломило его старшего брата. София была не равной по положению, но по крайне мере она была аристократкой. Не лучше обстояли дела и с императором: Франц Иосиф, уже разрешивший в итоге союз между Францем Фердинандом и Софией, не собирался разрешать еще и морганатический союз младшего эрцгерцога, который вдобавок не мог выдвинуть никаких аргументов в свою пользу.
Несмотря на возражения Франца Фердинанда, считавшего, что такой брак «ниже достоинства» Императорского Дома, Фердинанд Карл хотел, чтобы его брат благословил его выбор. Между братьями случались сцены «яростного выяснения отношений», а позиция Франца Фердинанда не менялась. Растущую проблему нужно было решать любой ценой: в 1904 г. Фердинанд Карл, страдая от туберкулеза, покинул ряды императорской армии и уехал с Бертой в Тироль, где они начали вести частную жизнь. Об этой паре стали ходить слухи, но сам Фердинанд Карл твердо отрицал, что он тайно женился на этой леди, гораздо менее твердо он отвергал тот факт, что она его любовница. Правда окончательно открылась в 1911 г., когда Франц Карл наконец признался, что женился на Берте, но врал императору и своим братьям, чтобы сохранить их союз в тайне. «Своими действиями Фердинанд нарушил обещание, данное мне семь лет назад, о том, что он не женится на Берте Чубер без моего разрешения, — писал император Францу Фердинанду, добавляя: — Я призываю вас рассматривать эту информацию как строго конфиденциальную, касающуюся только нас двоих». Франц Фердинанд был в полном шоке не столько от факта совершившегося брака, сколько от того, что его брат пошел на преднамеренный обман. По его мнению, заведомая ложь императору — грех, приближающийся к ереси. Он был не единственным, кто чувствовал, что его предали. Последовал и ответ императора: эрцгерцог лишался своих земель и титула и изгонялся навсегда из Австрии. Карл Фердинанд должен был провести теперь остаток своей жизни как «Фердинанд Бург», тихо живя в Тироле со своей дорогой женой.