То я бессердечная, эгоистическая, гениальная кокетка, наслаждающаяся властью своею над человеком, улыбающаяся от счастья при мысли, что она владеет человеком, перед которым преклоняются люди, подобные Гревсу. Да, я горжусь и упиваюсь своею властью. Когда я улыбаюсь, он весь проникается радостью, когда я грущу, он впадает в меланхолию. Он льстит мне той самой высшей, самой сладкой лестью, лестью любви, которая сама в себя верит. Нет мысли, нет чувства во мне, которой он не мечтал бы постигнуть и разделить. Душа его – моя…
Я люблю его, положим, что я люблю его. Мы пара. Он понимает меня, я его. Говорить с ним наслаждение. Идти с ним под руку, вдвоем в тиши ночи… – что может быть поэтичнее, теплее, лучше этого. Мы чувствуем мысли друг друга, и когда мы молчим, мы также счастливы вне времени и пространства, как когда говорим… О, какое наслаждение. Вокруг нас должна быть красота и уединение. У нас есть так много о чем переговорить и передумать. Ведь по бесконечной близости, полной, жгучей, прекрасной близости мы одни во всем мире. И мы отдаемся этой близости, и мы счастливы, как Боги, и в этом упоительном счастии мы черпаем новые силы для жизни, которая скоро вновь понесет нас дальше и выше, все прекраснее и лучезарнее».
Конечно же, во Флоренции Лидия Дмитриевна стала посещать дом Ивановых. Дарья Михайловна, как это обычно бывает, была «очень обрадована» и даже не подозревала, что страсть между ее мужем и гостьей разгорелась ярким огнем. Иванов в какой-то момент осознал это и решил, что так нельзя, и даже попробовал убежать от самого себя в Рим, но через два дня вызвал к себе Лидию Дмитриевну… Он понял, что ничего поделать с собой не может и во всем покаялся Дарье Михайловне, объяснив ей, что это «демоническое наваждение» скоро пройдет и что расставаться им вовсе не нужно. Но супруга самым неожиданным образом оказалась непреклонна и потребовала развода.
Вспоминая этот тяжелый период, Иванов писал:
«Властителем моих дум все полнее и могущественнее становился Ницше. Это ницшеанство помогло мне – жестоко и ответственно, но по совести правильно – решить представший мне в 1895 году выбор между глубокою и нежною привязанностью, в которую обратилось мое влюбленное чувство к жене, и новою, всецело захватившею меня любовью, которой суждено было с тех пор, в течение всей моей жизни, только расти и духовно углубляться».
К.С. Шварсалон тоже не отказал супруге в разводе, но это было дело небыстрое. В ожидании счастливые влюбленные вынуждены были прятаться сами и прятать ее детей, которых бывший муж-учитель хотел забрать себе. В это время у них началась пора скитаний. Весной 1895 года Иванов вместе с Дарьей Михайловной поехал через Берлин в Россию улаживать свои дела по разводу, а Лидия Дмитриевна, напуганная флорентийским землетрясением, перебралась в Париж. Там они съехались в июле 1895 года, чтобы осенью снова расстаться: Иванов поехал в Петербург улаживать формальности расставания с женой, а затем в Берлин. Почти год они жили в Париже вместе – с недолгими разлуками, связанными с летним отдыхом, а также с ее визитами в Женеву к отцу.
28 апреля 1896 года у них родилась дочь Лидия, будущая известная пианистка, ученица композитора-симфониста из Болоньи Отторино Респиги.