В назначенный срок императрица родила дочь. Пока роженица приходила в себя, новорожденную, даже не посоветовавшись с матерью, нарекли Софией и тут же унесли в апартаменты свекрови. Подобно российской Екатерине II, единолично воспитывавшей своих внуков, София отбирала у молодой четы каждого рожденного ребенка. Родители допускались в детские комнаты лишь на краткое время и под бдительным присмотром фрейлин и самой Софии. Летом 1856 года Елизавета родила еще одну девочку, названную Гизелой. Но и ее также унесли в апартаменты свекрови. Появление на свет второй девочки вызвало в придворных кругах чуть ли не печаль: все ждали наследника престола, ведь ни один из братьев императора пока не обзавелся потомством, и будущее династии оставалось довольно неясным. И тут взбунтовавшийся Франц Иосиф категорически заявил матери о своем крайнем недовольстве вмешательством в его семейную жизнь и о том, что отныне дочери будут жить с родителями. К тому же он потребовал у матери соблюдения уважения к той, которую он любит всем сердцем. Впервые за время замужества победа осталась за Елизаветой, но победа эта была пирровой. Отчетливо поняв, что она лишается былого влияния на сына, София вообще перестала скрывать свою враждебность к невестке. Отношения между ними стали невыносимыми. Елизавета пыталась бунтовать, и, в конце концов, ей удалось уговорить мужа взять двух дочерей в поездку по Венгрии. Судьба жестоко отомстила Сиси за «самоуправство» — старшая дочь София, ее первенец, умерла во время этого путешествия. В любимом и без конца снившемся Елизавете Поссенхофене Франц Иосиф просто не узнавал свою печальную затворницу. Она была бесконечно счастлива и буквально сияла от переполнявшей ее радости. Расписывать же свою «счастливую» жизнь во дворце она была вовсе не намерена. «Ах, Елена, радуйся, — сказала она сестре, — я спасла тебя от очень невеселой участи и отдала бы все, чтобы прямо сейчас поменяться с тобой местами». А как же муж? Ведь в нем столько благородства, такта, терпения и любви к ней! А та не проходящая боль, с которой Елизавета думала об отнятой у нее дочери? Назад дороги не было, а впереди — снова Вена, неумолимая свекровь и бесконечная, иссушающая душу вражда…
Лишь чрезвычайные события ненадолго сгладили открытую неприязнь. Как уже упоминалось, в 1858 году умерла старшая дочь молодой императрицы София. Для Елизаветы это было особенно сильным ударом, поскольку именно она — вопреки воле эрцгерцогини Софии — настояла на том, чтобы обе дочери сопровождали императорскую чету в поездке. Девятнадцатилетняя Елизавета винила себя в смерти ребенка, начала задумываться о самоубийстве, отказалась от пищи. Это едва не добило несчастную Елизавету. Франц Иосиф, видя, что душевные силы жены на пределе и опасаясь за ее жизнь, решил увезти ее на родину. Потрясенная императрица несколько месяцев не могла прийти в себя, причем смерть старшей дочери имела парадоксальные последствия для двух других детей — Гизелы и родившегося в 1858 году Рудольфа, по отношению к которым мать долгое время сохраняла удивительную холодность и отчуждение.
Первоначальная влюбленность Сиси во Франца Иосифа давно прошла, все сильнее вырисовывалось несходство интересов пары. Конфликты, возможно, были вызваны неверностью Франца Иосифа и обострились после рождения Рудольфа. Реакцией Елизаветы стал протест: она все сильнее предавалась своей страсти — верховой езде. В 1860 году она даже вернулась к родителям в Поссенхофен, где перенесла тяжелую болезнь. Для лечения императрице пришлось поехать на юг.
Итак, в двадцать один год Сиси, мать троих детей, лишенная любых проявлений свободы, ненавидимая своим окружением, поняла, что может сохранить рассудок и жизнь, лишь бежав из Вены. Поэтому, сославшись на легочное заболевание, она впервые с момента замужества оставила Вену, чтобы побыть на солнце, анонимно, далеко от двора. Сиси действительно серьезно заболела: чахотка не щадит и обитателей дворцов… Она уехала на остров Корфу, где и провела большую часть своей жизни. Там и произошла встреча императрицы с венгерской цыганкой, слывшей на острове настоящей прорицательницей. Говорят, старая гадалка поведала Елизавете о страшном роке, витающем над ее семьей. Сиси вернулась в свои апартаменты глубоко подавленная, вся в слезах. «Все мы умрем страшной смертью…» — повторяла она услышанное от цыганки. Она оставалась на Корфу несколько месяцев, несмотря на взволнованные и ежедневные письма Франца Иосифа.