К сожалению, прежде чем двинуться в путь, он должен был рассчитаться с самыми неотложными долгами. Несмотря на мизерное пособие, выдаваемое ему Анселем, он не отказался ни от обедов с друзьями, ни от покупки книг, гравюр, разных безделушек, вина и крепких напитков, а также от скромных вознаграждений случайным девицам. Чтобы иметь больше свободы, он хотел бы сменить придирчивый попечительский совет на поверенного в лице Антуана Жакото, друга семьи. Пока же он просил последнего повлиять на Анселя, чтобы тот не был таким жестким и выдал солидное пособие, которое помогло бы ему покинуть Париж. Но 25 февраля Ансель без лишнего шума явился в гостиницу «Вольтер», где жил Шарль, и учинил там хозяину, г-ну Денневалю, настоящий допрос: «Принимает ли г-н Бодлер дам? Поздно ли он возвращается вечером?» Узнав об этой слежке, Бодлер взорвался от возмущения и послал матери в один день сразу четыре письма: «Ансель — негодяй, я надаю ему пощечин в присутствии его жены и детей. Я сделаю это в 4 часа […], а если не застану его, то буду ждать, пока не придет. Клянусь, что конец этой истории будет громким» (Письмо от 27 февраля 1858 года, около полудня). Поскольку хозяин гостиницы упросил его не применять силу, он решил отложить возмездие: «Я соглашаюсь подождать с отмщением. Поручала ли ты ему [Анселю] позорить и оскорблять твоего сына, г-на Ш. Бодлера, носящего это имя незапятнанным? Я требую извинений. Требую глубокого раскаяния. […] Если я не получу полного удовлетворения, то я дам пощечину Анселю, дам пощечину его сыну, и попечительский совет подаст в суд на г-на Шарля Бодлера, за избиение и ранение» (Письмо от 27 февраля 1858 года, 4 часа пополудни). «Меня очень расстраивает, что я причиняю тебе огорчения. Мне надо работать, а теперь мне придется искать свидетелей на случай настоящей ссоры между мною и Анселем или между мною и его сыном. Парень подрос и годится для такого дела. Я требую настоящих извинений и четкого выражения сожалений. Я хочу, чтобы это произошло в присутствии двух или трех свидетелей, предложенных мною. Если этого не сделают, то я приму крутые меры. А каких свидетелей мне надо? Скромных и преданных! Надо, чтобы это были люди, которым я могу признаться, что, по невольному настоянию моей матери, я был оскорблен моим юристом-советником, учинившим в прихожей недостойную сцену […] Бедная мамочка, я знаю, в каком состоянии находятся твои нервы, тебе будет больно. Но, говоря откровенно и по правде, разве я в этом виноват?» (Письмо от 27 февраля 1858 года, 5 часов пополудни.) «я уже посоветовался с двумя знакомыми, как мне поступить. Ударить старика в присутствии членов его семьи — это нехорошо. Но мне нужно получить удовлетворение. Что делать, если я не получу удовлетворения? Я должен хотя бы пойти к нему и в присутствии его жены и других членов семьи сказать, что я думаю о его поведении. А если я опять буду оскорблен, то тогда что делать? В какое положение ты меня поставила, Боже мой! […) Ведь он — человек без чести, без души, без сердца, он меня обкрадывал, и ты выбрала именно его в качестве доверенного лица твоих материнских опасений, именно ему поручила помогать мне в деле, требующем деликатности, в деле, в котором я абсолютно доверился тебе!» (Еще одно письмо от 27 февраля 1858 года, написанное в более поздний час.)
На следующий день, оказавшийся воскресеньем, Бодлер остыл: он решил отказаться от денег, которых просил, решил не ехать в Онфлёр и отступился от намерения покарать Анселя. Вспышка гнева оставила его без сил: «Вчера вечером у меня поднялась температура, и головная боль не проходила всю ночь. Наконец, сегодня утром меня вырвало и стало легче. Поскольку сегодня на улице было не так холодно, я вышел подышать свежим воздухом. Как же счастливы люди, которые могут работать! Как я им завидую!»