Против нападок Гюго большинство Собрания избрало два способа защиты: его подвергали осмеянию и ему напоминали его прошлое. Монталамбер сказал, что Гюго поддерживал все партии, а затем от всех отрекался. Он отверг это обвинение и блестяще защищался. Но тем не менее его жизни угрожала опасность. В Собрании распространились зловещие слухи. Большинство депутатов желало спровоцировать, хотя бы с помощью полиции, мятеж, для того чтобы потопить его в крови.
Случайный выстрел мог сразить любого мешающего человека. Полковник Шаррас (либерал) сказал Гюго: «Остерегайтесь». Он ответил: «Ну вот еще! Да пусть они посмеют явиться ко мне, в моей келье одни только стихи да незавершенные строфы валяются повсюду, я лишь посмеюсь над ними». Ему дружески посоветовали не выступать по поводу избирательного закона. «Ну уж нет, я непременно выступлю, а там будь что будет. Огромная сабля, которой потрясают маленькие людишки, события 93-го года, происходящие в 1850 году, Тьер, породивший нечто чудовищное, — это даже забавно…» Он находил, что его противники просто комичны. Он заблуждался. Они были комичны, но и страшны.
Он чувствовал бы себя более сильным в общественной жизни, будь его личная жизнь менее сумбурной и достойной осуждения. Долг, признательность, любовь, желание делали его рабом прежних привязанностей и мимолетных увлечений. Три женщины, почти три супруги — Адель, Жюльетта и Леони, жили невдалеке друг от друга, на склонах Монмартра, в тесном кругу; каждой из них он должен был уделять время и навещать одну вслед за другой, всегда рискуя встретить, когда он идет под руку с Жюльеттой, свою жену или Леони, которые подружились на почве вражды к Жюльетте, наиболее опасной сопернице.
Жюльетта, оставаясь в тени, следила за похождениями своего повелителя и «смиренно таила свою великую любовь» в глубине квартала Родье, в мрачном тупике, где она жила «в непрестанном одиночестве и скуке». Редко выпадало на ее долю счастье сопровождать своего друга в парламент или в Академию, слушать там его речи либо изредка принимать его у себя дома. Каждое утро она отправлялась посмотреть издали на два окна его кабинета — Гюго разрешил ей наконец (в 1845 г.) выходить из дому на прогулку. Она еще не знала, какую роль в его жизни играет Леониди д’Онэ; и с недоверием относилась к другим женщинам, ибо он не мог устоять перед теми, кто искал с ним близкого знакомства: кафешантанная певичка Жозефина Фавиль; светская дама госпожа Роже де Женет; Элен Госен, осужденная за воровство; поэтесса Луиза Колле; экспансивная незнакомка Натали Рену; авантюристка Лора Депрес; артистка Комеди-Франсез Сильвани Плесси; особа, именовавшая себя виконтессой дю Валлон, о которой Вьель-Кастель сказал, что «она выдала трех своих дочерей-красавиц замуж так, словно совершила хорошую коммерческую сделку»; куртизанка Эстер Гимон; быть может, Рашель. Гюго, который в дни добродетельной молодости придавал большое значение целомудрию, высказывал теперь на любовь взгляды в духе Шелли:
Когда 29 апреля 1851 года умерла от апоплексического удара Фортюне Гамлен, «в смятенье сердце» кричало на все голоса. Смерть эта явилась печальным событием для Гюго, который потерял верного друга, а для Леони катастрофой; после развода с мужем Леони нашла в лице этой умной женщины близкого друга, проводила с ней почти все вечера либо дома, либо в театре. Лишенная помощи многоопытной светской красавицы, которая с годами обрела мудрость, бывшая госпожа Биар, поразмыслив о своей судьбе, решила, что она погубила свою жизнь ради Виктора Гюго, а поэтому он должен посвятить ей большую часть своей жизни и уж по крайней мере должен ради нее пожертвовать Жюльеттой. Она не раз пыталась добиться от своего любовника этого разрыва, но всегда наталкивалась на решительный отказ.
Когда в 1849 году она стала угрожать Гюго, что все откроет Жюльетте, он грубо ее одернул.