На следующий год Бюсси стал невольным участником скандала. Захотев снова жениться, да на невесте побогаче, он слишком внимательно слушал советы некоего священника Клемана, исповедника мадам де Мирамьон, юной и богатой вдовы, достаточно красивой, но набожной, и к тому же недотроги. Дав себя убедить, Бюсси, подталкиваемый отцом Клеманом, получившим две тысячи ливров, «чтобы предусмотреть возможные трудности», просто-напросто похитил мадам де Мирамьон на выходе из церкви: бросил ее в карету друга и был таков! Несмотря на все крики, он привез ее в замок Лонэ. Жертва плакала, умоляла, протестовала, но наивный Бюсси полагал, что это была лишь комедия, предназначенная для ее семьи, противившейся браку. Так его уверил отец Клеман. Но по прошествии нескольких часов пришлось признать очевидное: слезы были искренними, а протесты – настоящими. Мадам де Мирамьон не имела ни малейшего желания выходить замуж за Бюсси-Рабютена. Тогда тот галантно отпустил пленницу на свободу. Правда, этого оказалось недостаточно, чтобы успокоить ее разъяренных родственников и избежать Бастилии: нужна была сумма в шесть тысяч ливров. Практически невыполнимая задача для человека, у которого не было денег. Ему повезло через год, во время Фронды: он женился на Луизе де Рувилль.
Однако его легкомысленный поступок не был забыт и возымел неожиданное продолжение. Прошло десять лет после той авантюры, мадам де Мирамьон успела основать свой монашеский орден и стала там матушкой, а Бюсси тем временем скомпрометировал себя еще более серьезным образом. Его поведение впоследствии назвали «дебошем в Руасси»: в страстную неделю Бюсси в компании герцога де Вивонна, герцога Неверского и еще некоторых шалопаев организовали оргию, во время которой пели непристойные песни, крестили поросенка и выпили огромное количество вина. В результате Бюсси отправили протрезвляться в его бургундский замок.
На самом деле, хоть его и отлучили от общественной жизни, он этим не особо тяготился. Он следил за постройкой замка и начал писать «Любовь в истории галлов», в которой рассказывал о любовных похождениях многих известных лиц при дворе. Все это посвящалось мадам де Монгла, которая была, представьте себе, самой любимой из его любовниц.
Рукопись была написана не для печати, и он тайком носил ее под верхней одеждой. Но как-то раз одна его «подруга» обнаружила копию рукописи и отдала ее в печать. Это была настоящая катастрофа, потому что принц де Конде оказался чрезвычайно недоволен малопривлекательным описанием своих похождений и поспешил заказать анонимному перу произведение под названием «Галантная Франция», где рассказывалось о любовных приключениях короля и мадам де Ля Валльер.
На этот раз Людовик XIV, которого развеселила «Любовь в истории галлов» и который даже был бы не против пригласить ее автора в Академию, очень рассердился и отправил бедного Бюсси в Бастилию, хоть он и был на этот раз невиновен. Попал он туда 16 апреля 1655 года и просидел тринадцать месяцев, а затем, как уже упоминалось, уехал в изгнание в свой замок.
Там, в Бюсси-Рабютене, он жил с семьей и создал свой особый мир. Сам он объяснял это так:
«Здесь столько разных забавных вещиц, которых нигде больше не найти; к примеру, у меня есть галерея с портретами всех французских королей, начиная с Гуго Капета, а под ними подписи, рассказывающие, чем они были знамениты. С противоположной стены – государственные и литературные деятели. Чтобы разбавить все это благородное собрание, в другом зале находятся портреты любовниц и подружек наших королей, начиная с красавицы Аньес, любовницы Карла VII. Передняя, предшествующая этой галерее, включает экспозицию с портретами членов моей семьи, а эта комната заканчивается большой приемной, где находятся портреты самых красивых придворных дам, собственноручно мне их подаривших». Излишне говорить, что эти красавицы действительно были хороши настолько, чтобы с них писались портреты.
Несмотря на все злоключения, перо де Бюсси не лежало без дела. Граф написал «Воспоминания», «Краткую историю правления Людовика Великого», «Разговор с моими детьми» и огромное количество писем, главным получателем которых была мадам де Севинье. С ней он был в ссоре на протяжении нескольких лет из-за одной истории, в которой маркиза повела себя не самым лучшим образом.
С женой, предпочитавшей оставаться в Париже, он не жил. Его любимой соратницей была его дочь Луиза, маркиза де Колиньи, молодая вдова, к которой он испытывал глубокие нежные чувства. Эта нежность подтолкнула его помочь Луизе в ее грустной авантюре с неким Ля Ривьером. Этот господин был всего лишь жуликом из высшего общества, но она родила от него ребенка и не могла избавиться от этого прохвоста даже после судебного процесса, который маркиза проиграла, потому что «имела неосторожность сыграть тайную свадьбу против воли своего отца».