Медового месяца не было. Франц-Иосиф обязан был вернуться к государственным делам, а юная жена, еще не успевшая созреть для этой роли, скучала в стенах Лаксенбургского замка. Оставшись в обществе строгой свекрови и ее окружения, Елизавета с трудом выносила ежедневные замечания и нравоучения бесцеремонной Софии. Вчерашняя добрая тетя превратилась в требовательную свекровь, пытающуюся всеми силами и способами сделать из «баварской деревенщины» настоящую императрицу. Отношения между двумя женщинами обострялись и ставили в тупик молодого монарха, безумно любящего супругу, но все еще находящегося под давлением волевой матери.
В начале марта 1855 года у молодой четы появился первый ребенок. Девочку назвали Софией в честь бабушки и, не считаясь с мнением молодой матери, поселили рядом с покоями эрцгерцогини. Еще через год Сисси родила вторую девочку, которой дали имя Гизела и воспитанием которой опять руководила свекровь. Попытки Елизаветы взять опеку над дочерьми в свои руки терпят поражения. Только в мае 1857 года Сисси сумела одержать небольшую победу. Семья Франца-Иосифа впервые в полном составе выезжает в Венгрию, освободившись хоть на время поездки от вездесущей Софии. Но в Будапеште происходит печальное событие — заболевает туберкулезом и скоропостижно умирает их старшая дочь София. Сисси, уговорившая мужа взять детей в путешествие, во всем винит одну себя и долгое время не может выйти из состояния депрессии.
Мрачная полоса ее жизни все-таки прерывается приятным событием — рождением долгожданного наследника престола, появившегося в августе 1858 года и названного в честь основателя династии Рудольфом. Воспитание кронпринца, как и прежде, перешло в руки опытной и категоричной бабушки. За четыре года семейной жизни Елизавета так и не смогла урегулировать отношения с Софией и сойтись с придворными дамами. Она все чаще надевает костюм амазонки и совершает многочасовые прогулки на лошади, пытаясь таким образом избавиться от присутствия «мадам маман» и от гнетущих переживаний. К осени 1860 года ее физическое и психическое состояние здоровья значительно ухудшилось и, убедив супруга в необходимости поменять климат, она, бросив все и всех, уезжает на Мадейру. Этот первый побег из семьи, продлившийся почти полгода, положил начало ее новой жизни — жизни путешествующей по свету императрицы. Вдали от Вены Сисси чувствует себя гораздо лучше, у нее проходит кашель, нормализуется температура, исчезает меланхолия. Она очень скучает по детям, но, возвратившись домой, начинает чахнуть и увядать, как обезвоженное растение. Постоянные конфликты со свекровью, отсутствие гармоничных отношений с окружающими ее придворными дамами, измена мужа, вылившаяся в заражение венерическим заболеванием, вызывают душевный разлад и психосоматические болезни. Со временем разногласия между двумя женщинами стали касаться и некоторых политических моментов, один из них — венгерский вопрос. Венгры не только помнили о кровавых революционных событиях 1849 года, в которых эрцгерцогиня София сыграла определенную роль, но и были осведомлены о непримиримых отношениях между двумя женщинами. София оказалась их общим с Елизаветой врагом, и в обаятельной молодой императрице мадьяры надеялись увидеть союзника.
Побывав впервые в 1857 году в Венгрии, Сисси почувствовала доброе и трепетное отношение жителей, их благородство и поддержку. Здесь она получила то тепло, которое не могла дать ей Австрия. Елизавета выучила венгерский язык, познакомилась с культурой страны и сделала все возможное для того, чтобы в 1867 году Венгрия приобрела равный с Австрией статус в рамках империи. Со стороны монарха это был подарок не только венгерскому народу, но и Сисси. В Будапеште прошла торжественная коронация Франца-Иосифа и Елизаветы, а через 10 месяцев после этого события Елизавета преподнесла ответный презент, родив после большого перерыва еще одного ребенка. Ходили слухи о том, что император наконец-то был прощен. Девочку, появившуюся на свет 22 апреля 1868 года, назвали Валерией. Этой малышке повезло больше, чем всем предыдущим детям императорской семьи. Ей досталась вся нерастраченная материнская любовь.
С годами страсть императрицы к путешествиям не угасает, а становится еще сильнее. Она по-прежнему не задерживается надолго в Вене, а, приехав в загородный замок либо на остров, совершает многочасовые походы по окрестным лесам и горам, выезжает на конную охоту или на морскую прогулку. С детства овладев навыками верховой езды, Сисси великолепно держалась в седле, вызывая восторги опытных наездников. Она часто путешествовала инкогнито и использовала всевозможные уловки, позволявшие ей избежать скучных встреч с высокопоставленными особами.