Конечно же, во Флоренции Лидия Дмитриевна стала посещать дом Ивановых. Дарья Михайловна, как это обычно бывает, была «очень обрадована» и даже не подозревала, что страсть между ее мужем и гостьей разгорелась ярким огнем. Иванов в какой-то момент осознал это и решил, что так нельзя, и даже попробовал убежать от самого себя в Рим, но через два дня вызвал к себе Лидию Дмитриевну… Он понял, что ничего поделать с собой не может и во всем покаялся Дарье Михайловне, объяснив ей, что это «демоническое наваждение» скоро пройдет и что расставаться им вовсе не нужно. Но супруга самым неожиданным образом оказалась непреклонна и потребовала развода.
Вспоминая этот тяжелый период, Иванов писал:
«Властителем моих дум все полнее и могущественнее становился Ницше. Это ницшеанство помогло мне — жестоко и ответственно, но по совести правильно — решить представший мне в 1895 году выбор между глубокою и нежною привязанностью, в которую обратилось мое влюбленное чувство к жене, и новою, всецело захватившею меня любовью, которой суждено было с тех пор, в течение всей моей жизни, только расти и духовно углубляться».
К. С. Шварсалон тоже не отказал супруге в разводе, но это было дело небыстрое. В ожидании счастливые влюбленные вынуждены были прятаться сами и прятать ее детей, которых бывший муж-учитель хотел забрать себе. В это время у них началась пора скитаний. Весной 1895 года Иванов вместе с Дарьей Михайловной поехал через Берлин в Россию улаживать свои дела по разводу, а Лидия Дмитриевна, напутанная флорентийским землетрясением, перебралась в Париж. Там они съехались в июле 1895 года, чтобы осенью снова расстаться: Иванов поехал в Петербург улаживать формальности расставания с женой, а затем в Берлин. Почти год они жили в Париже вместе — с недолгими разлуками, связанными с летним отдыхом, а также с ее визитами в Женеву к отцу.
28 апреля 1896 года у них родилась дочь Лидия, будущая известная пианистка, ученица композитора-симфониста из Болоньи Отторино Респиги.
В 1897 году они переехали в крошечный городок Аренцано близ Генуи. Там, уже весной 1899 года, и застала будущих супругов новость о благополучном завершении ее бракоразводного процесса.
В августе 1899 года, в нарушение всех гражданских и церковных законов, запрещавших венчанным супругам повторный брак, они были повторно обвенчаны в греческой православной церкви в Ливорно.
Свою дочь Лидию они крестили в конце 1900 года уже в Мюнхене. Дело в том, что и венчание и крещение не могли быть совершены без нарушения законов: дочь невенчанных родителей не могла быть официально признана их ребенком. Именно поэтому летом 1899 года Иванов заплатил большие деньги за получение нового паспорта взамен «утерянного», в котором уже не было пометки о первом браке, но и с ним всяких сложностей хватало, поэтому и пришлось ехать в Баварию.
Лидия Дмитриевна была женщиной независимой, самолюбивой и вызывающе умной, но при этом доброжелательной и открытой самым разным людям, начиная от утонченного петербургского эстета и кончая простой крестьянкой из деревни. Она была человеком ярким, сильным и талантливым. Философ Н. А. Бердяев, высланный из России в 1922 году и живший во Франции, писал о ней:
«Л. Д. Зиновьева-Ганнибал была совсем иной натурой, чем Вячеслав Иванов, более дионисической, бурной, порывистой, революционной по темпераменту, стихийной, вечно толкающей вперед и ввысь».
А вот портрет Лидии Дмитриевны, данный художницей Маргаритой Сабашниковой, первой женой известного поэта Максимилиана Волошина, эмигрировавшей в Германию:
«Ее лицо походило на лицо «Сивиллы» Микеланджело. В посадке головы было что-то львиное; крепкая прямая шея, отважный взгляд, а также маленькие, плотно прилегающие уши усиливали сходство со львом. Но самым своеобразным в ней были ее краски: волосы белокурые с розовым отливом, а кожа смуглая, благодаря чему особенно выделялись белки ее серых глаз. Она происходила из рода абиссинца Ганнибала, знаменитого арапа Петра Великого».
Сам Вячеслав Иванов восторженно писал: