Людовик XVI всегда помнил высказывания отца Мирабо, возненавидевшего своего сына с ранних лет. «Это — чудовище в физическом и нравственном отношении, — писал он о десятилетнем мальчике, — все пороки соединяются в нём». Чтобы как-то обуздать строптивого ребёнка, он отправил отпрыска в военную школу, но известия о беспорядочной жизни и долгах разгневали его. Старику удалось добыть королевский указ об аресте собственного сына и запереть его в замке. Впоследствии сам Оноре Габриель признался, что этот опрометчивый шаг родителя положил начало войне между ними.
Мирабо-старший заключал своего наследника в тюрьму каждый раз при удобном случае, но в те немногие часы, которые юноша проводил на свободе, он писал философские трактаты. Сколько их, представлявших интерес для прогрессивных людей того времени, было уничтожено стариком! Даже не пытаясь вчитываться, жестокий отец бросал их в камин, объясняя своё решение тем, что мысли сына не совпадали с его собственными взглядами!
Впрочем, нельзя сказать, что Мирабо-старший не пытался примириться с отпрыском. Взгляды взглядами, но старик не мог не признать: его Оноре обладает большой умственной силой. Хоть чем-то наследник пошёл в отца. Такой человек может быть полезен. Он способен поддержать и разработать дальше его экономические теории. Папаша призвал опального сына к себе и поручил управление своими поместьями. Оноре Габриель вроде бы во всём слушался родителя, даже женился по его настоянию на богатой наследнице. Брак отказался несчастливым. Мирабо потом и сам не понимал, как за короткое время смог промотать состояние своей жены, всё до сантима, и наделать долгов на сто двадцать тысяч франков.
Разгневанный родитель пришёл в бешенство. Сын снова встал на кривую дорожку, и его следовало наказать. Мужчина отослал нерадивого отпрыска в маленький городок Манок, и ссылка действительно пошла на пользу молодому человеку. Именно там Оноре написал своё первое печатное сочинение, изобиловавшее смелыми взглядами на управление и армию. Оно показало всем, какие широкие исторические познания имеет его автор.
Казалось бы, здесь ему и остановиться, остепениться и завести полезные знакомства, но судьба распорядилась иначе. Узнав об оскорблении, нанесённом его родной сестре, Оноре Габриель, не слушая просьб отца, бежал из заточения и вызвал оскорбителя на дуэль. Все остались живы, но старик Мирабо ничего не захотел слышать о возвращении сына и потребовал его дальнейшего заключения, на этот раз в замке Иф.
Такое решение не могло вызвать в Мирабо-младшем радости. Кто хоть раз видел Иф или слышал о нём, сразу содрогался от страха. Изначально построенный на острове как неприступная крепость, которая могла бы защитить Марсель от нападений захватчиков со стороны Средиземного моря, он долгое время пугал врагов своим устрашающим видом. В конце шестнадцатого века указом короля защитное укрепление было превращено в тюрьму. Туда отправлялись не только политические заключённые, но и самые опасные преступники. По большей части они содержались в так называемой «яме» — нижних камерах замка. Там не было окон и вентиляции, камеры даже не освещались факелами. Можно себе представить, что испытывал человек, который находился в таких условиях долгие годы!
Разумеется, ушлый Мирабо-младший не собирался задерживаться в столь ужасном месте. Многие удивлялись, как при его внешности он умел кружить головы женщинам, но мужчина всегда считал, что это один из его неоспоримых талантов. Талант проявился и в стенах Иф. Оноре Габриель соблазнил жену начальника, и она, влюблённая по уши, смогла выпросить у мужа перевод для Мирабо в замок Жу. Это была большая удача, потому что теперь молодой человек мог беспрепятственно посещать близлежащие городки и заниматься философией и экономикой.
Некоторое время Оноре Габриель надеялся, что отец вернёт его в родные пенаты, а жена простит и приедет к супругу. Но близкие не отвечали на письма, хранили молчание, и Мирабо махнул на них рукой. В то время он уже познакомился с женой одного престарелого маркиза — Софией. Он убедил красавицу бежать с ним в Швейцарию, потом в Голландию. Влюблённым катастрофически не хватало денег, и Мирабо занялся переводами. Они жили как два голубка, пока ревнивый и мстительный маркиз, отваливший полиции хорошие деньги на поиски жены и того нечестивца, что сбил её с пути истинного, не отыскал их. Оноре опять заточили в тюрьму и вынесли смертный приговор. София чахла в монастыре. Пылкий Мирабо упрашивал начальство разрешить ему писать маркизе, но получил отказ. Впрочем, это его не сильно огорчило.
В Голландии он познакомился с другой женщиной, не такой красивой, как София, но умной, утончённой и понимавшей его, как никто другой. Госпожа де Нера терпеливо ждала его выхода из тюрьмы, и, когда ему наконец удалось освободиться благодаря своей блестящей защите и красноречию, они вместе уехали в Лондон.