По словам доктора Рамона, «так продолжалось несколько лет, но надо отметить, что на протяжении всех этих лет находились мрачные субъекты, полагавшие, что, принимая во внимание назначение шарантонской лечебницы, руководство ее поступало излишне легкомысленно; эти личности периодически направляли свои доклады министру внутренних дел; но ни записки, ни доклады никогда не имели никаких последствий». Положение изменилось, когда на место умершего доктора Гастальди был назначен психиатр Руайе-Колар, решительный противник как театральных экспериментов, которые, по его мнению, лишь ухудшали состояние пациентов, так и привилегий, которыми пользовался «безумный либертен» маркиз де Сад. По мнению Руайе-Колара, присутствие безнравственного маркиза оказывало отрицательное влияние на других больных, тем более что в отличие от остальных обитателей лечебницы де Сад жил там почти как у себя дома: рядом с ним была преданная ему женщина, он принимал гостей, в том числе и молоденьких актрис, устраивал приемы, был невоздержан на язык. «Поэтому, — продолжал доктор Рамон, — неудивительно, что в числе претензий, предъявленных к администрации Шарантона, были названы тесные контакты директора с де Садом. То, что происходило в Шарантоне, нисколько не соответствовало атмосфере сдержанности, которой должно быть окружено подобного рода заведение, и вскоре после Реставрации господин Кульмье был отстранен от должности». (2 апреля 1814 года Наполеон отрекся от власти, 3 мая Людовик XVIII въехал в Париж, а уже в конце мая на место Кульмье был назначен Рульяк де Мопа, человек, который еще больше, чем Руайе-Колар, не терпел де Сада и даже начал предпринимать шаги для перевода его в другое заведение. Однако родственники воспрепятствовали такому шагу: к тому времени самочувствие де Сада ухудшилось, и перемена мест могла дурно отразиться на его здоровье.)
Все время пребывания в Шарантоне де Сад не уставал направлять жалобы в вышестоящие инстанции. Узнав в мае 1804 года о создании при правительстве Комиссии по свободе личности для выяснения статуса лиц, арестованных, но не представших перед судом, он тут же отправил в комиссию протест против своего заточения. «Вот уже три года и четыре месяца как я несправедливо пребываю в цепях, стеная от жесточайшей несправедливости, допущенной по отношению ко мне», — писал он. Протест воспринят не был. Тогда де Сад обратился лично к министру полиции Жозефу Фуше, бывшему якобинцу, голосовавшему за казнь короля: «Вот уже четыре года, как меня без всякого на то законного основания лишают свободы; только благодаря имеющейся у меня склонности к философии я до сего дня мог терпеть различные притеснения, чинимые мне под предлогами либо легковесными, либо просто смешными». И на это обращение ответа не последовало. Тогда де Сад, словно вспомнив свое заключение в Бастилии, принялся убеждать вышестоящее начальство, что его совершенно необходимо освободить, иначе земли его и владения придут в упадок. Доводы господина маркиза не подействовали.
Оставалась последняя инстанция — сам император. И 17 июня 1809 года де Сад адресовал нарочито смиренное прошение Наполеону Бонапарту. «Сир, — писал он, — господин де Сад, отец семейства, в лоне которого он обретает утешение в лице сына, отличившегося на военной службе, вот уже девять лет скитается по тюрьмам, успев за это время сменить их целых три, и влачит жизнь самую несчастную в мире. Ему семьдесят лет, он почти ослеп, страдает подагрой и болями в груди, а еще более ужасными болями в желудке. Справки от врачей лечебницы Шарантон, где он пребывает в настоящее время, свидетельствуют о правдивости его слов и дают ему основание требовать своего освобождения, равно как и утверждать, что никому не придется раскаиваться, если ему, наконец, вернут его свободу. И он дерзает утверждать, Ваше Величество, что питает к Вам, сир, глубочайшее уважение и пребывает вашим смиреннейшим и почтительнейшим слугой и подданным».
Говорят, Наполеон считал «Жюстину» книгой отвратительной, а потому отвечать ее автору не стал. Однако, несмотря на неприятие императором де Сада и его сочинений, современники находили у опального маркиза и великого корсиканца много общего. Бессменный член Директории Поль Баррас, человек, по определению многих, «воплощавший в себе все пороки старого и нового общества и лишенный всяких моральных устоев», был уверен, что «свирепость завоевателя является в глазах философа и физиолога не чем иным, как замаскированным выражением жестокой, но потаенной системы господина де Сада». Так он ставил знак равенства между натурой де Сада и честолюбием Наполеона.