Фактически обе девочки были приемными дочерьми Юлии Павловны Самойловой, которых она очень любила и пыталась то счастливо выдать замуж, то показать мир и свою северную Родину – Россию, к которой графиня была очень привязана. К сожалению, Амацилия Пачини (маленькая девочка в розовом на балконе старинной виллы Кампо – один из персонажей бессмертной «Всадницы» Карла Брюллова), окончившая свои дни в одном из итальянских монастырей, после двух неудачных замужеств и нескольких лет вдовства, не смогла удержаться от того, чтобы не начать судиться с приемной мамой за часть дома, принадлежавшего ей наравне с сестрой Джованниной, не то по праву наследования, не то по договору удочерения (эта весьма запутанная история непонятна до конца и в наши дни). Ее скандальность добавила немало седых волос графине, но до конца своих дней она продолжала навещать Амацилию, писать ей письма и всячески поддерживать.
Карл Брюллов и Юлия Самойлова так и не стали супругами. При их характерах тихая семейная жизнь все равно была бы невозможна. Любя друг друга, но не давая друг другу никаких обязательств, они шли по жизни каждый своим путем, при этом многие годы оставаясь друг для друга дорогими людьми.
В жизни Карла Брюллова началась черная полоса, которая привела к все учащающимся приступам нервной меланхолии. Этому способствовали тяжелейшие обстоятельства: смерть родителей и брата Павла.
В 1836 году художник был вынужден вернуться в Россию. К этому его подвигло предписание Николая I о возвращении в Петербург для вступления на должность профессора Академии художеств. Карл Брюллов не решился ослушаться – остаться в Италии эмигрантом было бы слишком демонстративным шагом. Тем не менее он ехал в Петербург скрепя сердце, боясь сурового климата и неволи.
Петербургская пора стала для Карла Брюллова самой трудной и драматичной в жизни. Он часто говорил о том, что не чувствует в себе педагога. Эта роль была слишком обременительна для него. К сожалению для себя, художник не обнаружил в новой академии, где были упразднены младшие классы, того мастерства учеников, которое было для него само собой разумеющимся и обязательным.
Петербургский период жизни Карла Брюллова продолжался по апрель 1849 года. Он кое-как преподавал в академии, выполнял заказы по росписи Исаакиевского собора, писал большую картину «Осада Пскова» (она так и осталась неоконченной), но ни одна из этих работ не приносила ему удовлетворения. Художник Михаил Железнов, бывший его очень близким другом и учеником, пишет в своих воспоминаниях:
А еще в 1839 году Карл Брюллов крайне неудачно женился, и это стало его большой и скрытой от посторонних глаз трагедией. «Избранницей» художника стала выдающаяся пианистка, ученица Фредерика Шопена, Эмилия Тимм, дочь рижского бургомистра.
В самом расцвете наивной юности, нежная, как весенний ландыш, она показалась усталому мастеру именно той единственной, которая, может быть, удалит из его сердца давнюю страсть к чересчур пылкой, излишне переменчивой, вечно неудовлетворенной Юлии Самойловой. Карл Павлович (а ему уже исполнилось сорок лет) всегда подпадал под сильное влияние музыки, а тут… Тут изящная Эмилия Тимм увлекла его игрою на рояле и своим пением, причем ее почтенный отец искусно подыгрывал дочери на скрипке.
Нет, Брюллов не кинулся на колени, не стал клясться в вечной любви; прежде всего он был художник, и потому выразил свои чувства созданием портрета прекрасной Эмили (сейчас он хранится в Третьяковской галерее).
Свадьба состоялась 27 января 1839 года. Тарас Шевченко, бывший тому свидетелем, вспоминает:
Затем началась семейная жизнь, вполне добропорядочная, и казалось, что Карл Брюллов вполне доволен сделанным выбором.