Развеселая жизнь эрцгерцога Отто кончилась очень печально: в 1906 г. он умер от тяжелой болезни, вызванной, скорее всего, последствиями невыпеченного сифилиса. 19-летний Карл стал вторым по очереди наследником трона после эрцгерцога Франца Фердинанда, чьи дети от брака с Софией Хотек не имели прав на престол. Эта династическая коллизия, однако, не испортила отношений между дядей и племянником: Франц (Фердинанд тепло относился к Карлу и после его женитьбы на принцессе Зите де Бурбон-Парма часто бывал в гостях у молодой пары. Правда, на маневрах, в которых то и дело участвовали оба Габсбурга, Франц Фердинанд спрашивал с племянника по всей строгости, стремясь к тому, чтобы Карл стал образцовым офицером. Не будучи крепким физически, молодой эрцгерцог, тем не менее, с большим рвением относился к своим обязанностям. В отличие от отца и некоторых других Габсбургов, Карл служил по-настоящему, без синекур. В чине лейтенанта кавалерии в 1905 г. он начал службу в глухой чешской деревушке Худержице под городом Стара-Болеслав, где размещался 7-й драгунский полк. Затем была Коломыя в восточной Галиции, где эрцгерцог командовал эскадроном 14-го драгунского полка. Там он пробыл почти год, после чего в чине майора был переведен в Вену, в 39-й пехотный полк.
28 июня 1914 г. эрцгерцог Карл, находившийся в отпуске, сидел на веранде подаренной ему императором виллы Вартхолъц в окрестностях Вены. Рядом с ним были его супруга Зита и двое малышей — Отто, родившийся в 1912 г., и полугодовалая Адельгейд. Ждали обеда. Двери отворились, но вместо закусок слуга принес конверт со срочной телеграммой. Открыв его и пробежав глазами текст телеграммы, Карл побледнел. Медленно положив листок на стол, он поднял полные ужаса глаза на жену и, запинаясь, произнес: «Дядя Франц и тетя Софи убиты!» С этого момента Карл стал новым наследником престола. Возраст престарелого императора ясно говорил о том, что молодому человеку недолго оставаться в этом статусе: впереди его ждала еще более тяжкая ноша верховной власти.