Подобные недели семейной идиллии выпадали на долю Франца Иосифа совсем нечасто. Характер его супруги, отмеченный многими странностями, с течением времени отнюдь не улучшался. Длительный конфликт Елизаветы с матерью императора, эрцгерцогиней Софией, привел к тому, что Сиси, никогда не чувствовавшая себя в Вене дома, стала все чаще уезжать из столицы. В жизни императрицы было несколько страстей: путешествия, верховая езда, забота о своей внешности, Венгрия и поэзия Генриха Гейне. К несчастью для Франца Иосифа, ему не удалось попасть в число увлечений собственной жены. В этом, наверное, был отчасти виноват он сам: неизменно любящий, но сухой и сдержанный, к тому же постоянно занятый государственными делами, император вряд ли мог вызвать страсть у такой романтической особы, как Сиси. Гораздо привлекательнее для нее был иной тип мужчины — горячий, эмоциональный, остроумный, взрывной... Воплощением всех этих качеств являлся граф Дьюла Андраши, во многом обязанный своей великолепной Карьерой той симпатии, если не сказать больше, которую к нему питала императрица. Вокруг отношений Елизаветы и Андраши ходило немало слухов, но скорее всего все ограничилось платонической влюбленностью Сиси в статного венгра.
Позднее Елизавете приписывали любовные связи с британским офицером Бэем Миддлтоном, с которым во время поездки по Англии она совершала длительные верховые прогулки, с неким загадочным красавцем-графом, который одно время появлялся в ее свите, и даже с королем Баварии Людвигом II — еще одним романтиком на троне, который к концу жизни сошел с ума и в 1886 г. утопился в озере, что стало сильнейшим ударом для Сиси... Однако сведения о романах Елизаветы почти наверняка можно отнести к разряду светских сплетен: судя по всему, императрица была весьма холодной дамой и в сексуальном, и — во многих отношениях — эмоциональном плане. До конца жизни у Елизаветы так и не появился настоящий душевный контакт ни с Рудольфом, ни со старшей дочерью Гизелой. В 1873 г. 16-летняя Гизела была выдана замуж за баварского принца Леопольда, причем во время свадебной церемонии императрица сделала все возможное, чтобы затмить дочь красотой и нарядом и привлечь к себе всеобщее внимание, что ей вполне удалось.