К несчастью, жить вместе долго они не смогли, и причиной тому стал жестокий и деспотичный отец талантливой девушки. Своей властью над Эмилией он принудил ее даже после венчания с Карлом Брюлловым жить под «родительским кровом». Тогда эта прихоть показалась художнику странной – он был достаточно состоятельным, чтобы позволить себе собственный дом. Но Эмилии тоже хотелось жить вместе с отцом, и новоявленный супруг не стал возражать. Об истинной причине такой привязанности девушки к отчему дому Карл Павлович не догадывался до тех пор, пока не застал свою молодую жену в постели с… тестем. Законный супруг не смирился с «подобным адом» и, насилуя самого себя, по повелению императора Николая I написал шефу жандармов графу А.Х. Бенкендорфу позорное объяснение:
В результате он сумел получить через два месяца после венчания разрешение на полный развод, что было по тем временам совершенно уникальным случаем. Художник предпочел иметь ад в собственной одинокой душе, и он обрел его, этот молчаливый ад, взамен разрушенной навсегда веры в гармонию.
К счастью, бракоразводный процесс закончился довольно быстро, однако сплетни о семейных делах художника не утихали. Более того, у бывшего тестя хватило наглости требовать у Брюллова пожизненной пенсии для себя и дочери. Суд, естественно, не удовлетворил это прошение, но пришлось снова вытаскивать на свет омерзительные подробности всей этой истории.
Графиня Самойлова, конечно же, вскоре узнала горькую историю брака своего «милого Бришки», но никому не говорила о ней, боялась растерзать и свое и чужое сердце чересчур тягостным повествованием.
Вскоре Карл Брюллов и Юлия Самойлова снова встретились, когда она в 1842 году ненадолго приехала в Россию для похорон своего официального супруга, графа Самойлова.
Карл и Юлия были очень рады встрече, памятью о которой навсегда останется «Портрет графини Ю.П. Самойловой, удаляющейся с бала». Но вскоре графиня вернулась в Италию, возобновив образ жизни блестящей хозяйки салона искусств, литературы и музыки. Она общалась с композиторами Россини, Беллини, Доницетти, русскими литераторами и художниками, жившими в то время в Италии. Многим помогала. Ей принадлежала знаменитая вилла «Джулия» на озере Комо в окрестностях Милана. Карл и Юлия больше не виделись.
В сорок три года графиня Самойлова безумно влюбилась в молодого оперного певца Перри и вышла за него замуж. К несчастью, обожаемый муж умер от чахотки в том же 1846 году. Она отпела его в соборе Сан-Марко в Венеции, увезла тело в Париж и похоронила на кладбище Пер-Лашез.
После этого она осталась во Франции, утратила русское подданство, графский титул и почти все из своего огромного состояния. Но в ее характере было снова выйти замуж в 60 лет, чтобы вернуть себе графский титул. Это произошло в 1863 году, и ее мужем стал французский дипломат граф Шарль де Морне, но тот оставил супругу через год после венчания, объяснив это полным несходством характеров. Таким образом, Юлия Павловна так и закончила свои дни под прежней фамилией – Самойлова.
Состояние Юлии Павловны совершенно истощилось. Конечно, она не голодала, однако вынуждена была продать свои портреты, написанные Карлом Брюлловым. При этом многие из ее прежних «подопечных» теперь совсем забыли ее.
Юлия Павловна Самойлова умерла в Париже 14 марта 1875 года в возрасте семидесяти двух лет и была похоронена на кладбище Пер-Лашез в одном склепе со своим вторым мужем.
В Петербурге здоровье Карла Брюллова сильно пошатнулось. Во время работы над росписями плафона Исаакиевского собора он сильно простудился, и когда его состояние совсем ухудшилось, врачи рекомендовали ему сменить климат.
С тяжелыми мыслями в 1849 году он покинул Россию и поехал лечиться на испанский остров Мадейра. Курс лечения, который художник провел на острове, практически результатов никаких не дал, и в июне 1850 года он возвратился в Рим, ибо, как говорил Владимир Васильевич Стасов, тогдашний секретарь промышленника и мецената А.Н. Демидова, «ни одного города на свете не любил Брюллов так, как Рим, ни в одном не чувствовал он себя столько дома, сколько в нем».
В Италии Карл Брюллов поселился в семье своего друга Анджело Титтони, соратника Гарибальди, видного участника революционного движения и полковника национальной гвардии.
Художник пожаловался другу на ревматические боли, одолевшие его после росписей в Петербурге Исаакиевского собора. Анджело пригласил живописца в свой загородный дом в Манциано, заметив, что там, в нескольких километрах, в Стильяно, есть серно-йодистые источники, известные еще с античных времен, хорошо помогающие от ревматизма. Но кто знал, как вредны они для нездорового сердца…