В 1862 году Елизавета вернулась в Вену, но болезнь и разногласия с Францем Иосифом омрачили это пребывание, равно как и конфликт вокруг воспитания престолонаследника — эрцгерцога Рудольфа. В то время как Франц Иосиф и его мать выступали в пользу военной стези, Елизавета хотела воспитывать сына в более либеральном духе, причем ей удалось отстоять свою точку зрения. К этому времени она прониклась особой симпатией к венграм и сыграла немалую роль в достижении компромисса с ними. Ненавидя представительские обязанности в Вене, императрица много времени проводила на своем венгерском конном заводе в Гёдёллё. Там она могла удовлетворить как свою страсть к верховой езде, так и свое предпочтение — более непринужденному обществу. Сплетни при венском дворе вызывали ее поездки в Англию и Ирландию, участие в парфорсной охоте и эксцентричные поступки вроде предоставления своей дочери Марии Валерии в качестве товарища по играм «уродца-мавра».
Потом в течение более чем тридцати лет она не прекращала свои дальние поездки, для этого у нее появилась специальная яхта, ей построили очень красивое жилище на Корфу, ее любимом острове. Она появлялась при венском дворе помолодевшая, с ожившим взглядом, чтобы тут же вновь потонуть в душевной нестабильности, из-за которой по Европе уже пошли слухи о ее сумасшествии. Она принуждала себя к жестким режимам, часами занималась конным спортом, гимнастикой или прогулками быстрым шагом; во что бы то ни стало Сисси стремилась выглядеть безупречно. Тем не менее было бы ошибочным описывать первые годы супружества Франца Иосифа и Елизаветы в исключительно мрачных тонах. Можно сказать, что они не были, но бывали счастливы. Сама Сиси, считавшая себя поэтессой и оставившая довольно обширное собрание стихотворений (по большей части подражательных, навеянных творчеством Генриха Гейне, фанатичной поклонницей которого была императрица), посвятила не одну прочувствованную строку «прекрасным минувшим годам». Любила ли она Франца Иосифа? По-своему — несомненно, однако разница характеров и огромное количество обязанностей, которые взвалил на себя император, мешали их взаимопониманию. Достаточно твердый в политике, Франц Иосиф всегда уступал жене, оправдывал ее причуды и странности и до самого конца их более чем сорокалетнего супружества вел себя как образцовый муж.
Австро-Венгрия не была бы империей, если бы распорядок ее будней и праздников не подчинялся календарю знаменательных для царствующей фамилии дат. По всей стране, от Триеста до Черновица (ныне Черновцы), от Эгера до трансильванского Кронштадта (теперь Брашов в Румынии), торжественно отмечали дни рождения его императорского и королевского величества (Франц Иосиф появился на свет 18 августа) и его августейшей супруги, Елизаветы (24 декабря), юбилеи престолонаследника (кто бы им ни был), годовщины вступления императора на престол (2 декабря) и бракосочетания монаршей четы (24 апреля).
Император неизменно встречал свои дни рождения в городке Бад-Ишль. Это курортное местечко в предгорьях Альп на слиянии рек Траун и Ишль Франц Иосиф любил с детства. Считалось, что известные издревле солевые источники Бад-Ишля исцеляли болезни дыхательных путей, ревматизм и женские хвори, но император, человек довольно крепкий даже в преклонном возрасте, приезжал сюда из пышной и многолюдной Вены не по медицинским причинам, а за спокойствием, тишиной и свежим воздухом. Быть может, монарха влекли в Бад-Ишль и сентиментальные воспоминания: именно здесь в 1853 году Франц Иосиф обручился с юной принцессой Елизаветой Баварской. В качестве свадебного подарка мать жениха, эрцгерцогиня София, преподнесла молодоженам элегантную виллу в стиле бидермайер. Двухэтажная Kaiservilla, которую Франц Иосиф называл «раем на земле», на десятилетия стала летней резиденцией императорской фамилии. В этом здании размещались личные покои Габсбургов; приемы для гостей устраивались в иных местах. В последние десятилетия жизни неподалеку от императорской виллы Франц Иосиф арендовал для своей подруги Катарины Шратт скромный, но достойный особняк Villa Felicitas. В рабочем кабинете в восточном крыле императорской резиденции 28 июля 1914 года без малого восьмидесятичетырехлетний Франц Иосиф подписал манифест «К моим народам», извещавший о начале последней войны Габсбургов. Наутро монарх покинул Бад-Ишль, чтобы больше сюда не вернуться. Лишь пару раз император праздновал свои дни рождения не в Бад-Ишле. В детские годы Франца Иосифа центром торжеств становилось выходящее фасадом на главный городской променад здание, в котором ныне расположен городской музей; мальчика выпускала на балкон его молодая мама, и маленький принц махал ручкой своим будущим подданным.