Несмотря на поддержку избирателей улицы Пуатье, Гюго оставался представителем "отверженных". Веря лишь собственным глазам, он побывал в Сент-Антуанском предместье и в трущобах Лилля и сам увидел, что представляет собою нищета. Он пожелал не только сказать об этом, но и опровергнуть жестокие речи, которые он слышал. Какой поднялся тогда вопль негодования! Как? Член партии порядка осмелился утверждать: "Я выражаю мнение тех, кто считает, что нужду и лишения можно ликвидировать!" Более того, он предал огласке разговоры, которые велись тайно: "Речи, которые здесь произносят с трибуны, предназначаются для толпы, а закулисные сговоры предназначаются для голосования. Так вот, что касается меня, то я не желаю закулисных сговоров, когда дело идет о будущем моего народа и о законах моей страны. Я оглашаю с трибуны то, что высказывают тайком в кулуарах, я разоблачаю скрытые влияния. Это мой долг..." [Виктор Гюго. Речь в Законодательном собрании от 9 июля 1849 г. О нищете ("Дела и речи", "До изгнания")] В зале зашумели, заволновались. Общеизвестно, что писатель всегда в какой-то степени опасен для общества, но ведь Гюго-то был допущен в святая святых. Как же он смеет выдавать семейные тайны!
"Нужно воспользоваться молчанием, к которому приведены анархические страсти, для того чтобы произнести слово в защиту народных интересов. (Волнение в зале...) Нужно воспользоваться исчезновением духа революции, чтобы оживить дух прогресса! Нужно воспользоваться спокойствием, чтобы восстановить мир, не только на улицах, но настоящий, окончательный мир, мир в сознании и в сердцах! Одним словом, необходимо, чтобы поражение демагогии стало победой народа" [там же].
Во время парламентских каникул в августе 1849 года в Париже был созван Конгресс мира. На нем были представлены основные государства Европы. Виктора Гюго избрали председателем. Некоторое время он питал надежду, что в борьбе на два фронта - против бессердечных людей и против санкюлотов ему окажет поддержку правительство. "Эвенман" высказала пожелание, чтобы была основана, помимо белой и красной, промежуточная - синяя партия, которую возглавит президент. Но никогда авторитет Гюго в палате не падал так низко, как в то время. Консерваторы прерывали его речи саркастическими возгласами и улюлюканьем; левые его не поддерживали, он оставался в одиночестве. Его пламенные речи не имели никакого значения. В Законодательном собрании имеет значение не то, что говорят, но почему это говорят. Виктор Гюго совершенно не знал правил парламентской стратегии. К тому же он заучивал свои речи, а не импровизировал их и потому не мог приноровиться к реакции аудитории. Предполагая, что в определенном месте его прервут, он ожидал этого момента, и, когда этого не происходило, он как бы терял равновесие и падал в пустоту. Луи-Наполеон был не из тех, кто согласится долго иметь соратником человека невлиятельного. Неминуемо должен был произойти разрыв, и он был резким.
Для того чтобы угодить большинству католической партии, президент организовал военную экспедицию в помощь папе, против Римской республики Мадзини. Генерал Удино захватил Рим и восстановил светскую власть папского престола. Луи-Наполеон, понимая, что воинствующий клерикализм "бургграфов" не пользуется популярностью, написал своему адъютанту Эдгару Нею письмо, которое было опубликовано: он выражал желание, чтобы в Италии была восстановлена свобода и объявлена всеобщая амнистия для итальянского народа. "Знамя Франции, - писала "Эвенман", - обеспечит процветание свободы в Италии". Пий IX, не оказав уважения своему заступнику, опубликовал буллу "Motu proprio" ("По собственному почину"), где он утверждал абсолютизм папской власти. Тьер посоветовал примириться с этой буллой и был поддержан большинством католической партии во главе с Монталамбером. Гюго, голосовавший против предложения Тьера, обедал 16 (или 17) октября в Елисейском дворце. Было условлено, что принц заменит свое письмо Эдгару Нею (противоречащее конституции, написанное слишком властным тоном) посланием премьер-министру Одилону Барро. Тот прочтет послание в Законодательном собрании, затем Гюго выступит в его поддержку. Принц предпочитал людей действия людям принципов, отдавал предпочтение политикам перед мыслителями, но в тот день у него не было выбора. Ни один из ораторов католической партии не согласился бы принять на себя эту опасную миссию. К несчастью, а может быть, к счастью для Гюго, президент перед заседанием Законодательного собрания договорился с Барро и Токвилем о компромиссе. Пусть Барро не зачитывает послание. Вопреки истине и правдоподобию он заявит, что письмо президента и папская булла - "Motu proprio", по существу, выражают одну и ту же мысль. На самом же деле они были прямо противоположны. Но недобросовестность не имеет границ, и сказать можно все что угодно.