Паттерсон всегда казался честным и вдумчивым парнем, и наряду с этим – что совершенно нетипично для боксера – крайне чувствительным человеком. Должно быть, у него имелись веские причины уволить старого друга. Но какими бы ни были эти причины, он не стал обсуждать их с Д’Амато и не сообщил ему лично об увольнении. Д’Амато узнал о случившемся от журналиста, который позвонил, чтобы узнать его реакцию. Кас ответил: «У Флойда могут быть свои основания для этого. Хотя факты свидетельствуют о том, что мы окончательно расстаемся, я не признаю этого, пока Флойд не скажет мне об этом в глаза. Такова была наша договоренность». Даже после того как Флойд предал его, Кас по-прежнему ищет для него оправдания!»
В следующем месяце Паттерсон дрался с Эдди Мейченом в Стокгольме. Артур Дейли охарактеризовал участников поединка следующим образом: «Два скитальца, устало бредущие в никуда». Паттерсон выиграл бой решением судей, но подвергся резкой критике со стороны многих, включая Йоханссона, за то, что не нокаутировал Мейчена, когда тот был загнан в угол и ушел в глухую оборону. Паттерсон ответил на это: «Я посмотрел ему в глаза и увидел там боль и горечь поражения. У этого человека была тяжелая жизнь. Он был разорен и проходил курс лечения в психиатрической больнице. Стоило ли добивать его? Что это дало бы мне?» Даже у Флорио, нового менеджера Флойда, такой подход вызвал негодование: «Он намерен спасать противников. Он может сбивать их с ног, а вместо этого хочет подхватывать на руки».
Похоже, Флойду не хватало Каса. Кто-то из окружения боксера рассказал изданию
Через три месяца после разрыва с Касом Паттерсон снова попал в поле зрения налоговой службы. Налоговики утверждали, что он и его жена задолжали за 1957 и 1958 годы 41 649 долларов, а корпорация Floyd Patterson за тот же период – 44 736 долларов. Налоговое управление отклонило некоторые заявленные расходы – поездки, обучение и прочее – и установило, что прибыль Флойда от организованных мероприятий по боксу была выше, чем указано в представленных официальных документах. Налоговики настаивали на том, что Floyd Patterson Enterprises является личной компанией Флойда, а не совместной корпорацией, поэтому ему необходимо платить налог с ее прибылей.
Паттерсон продолжал выступать на ринге, правда, теперь уже только по необходимости. 19 ноября 1965 года он сражался с Мухаммедом Али, который приобрел титул чемпиона в тяжелом весе и сохранил его, дважды победив Сонни Листона. Д’Амато все еще держали на расстоянии от Флойда, хотя сам Кас и питал надежды на изменение ситуации. Он заявил прессе: «Флойд был в растерянности, выходя на ринг против Листона. Мне кажется, что в нынешней ситуации ему следует реализовать весь свой потенциал в бою с Кассиусом Клеем. Мне наплевать на всевозможные публикации, я по-прежнему убежден, что Флойд является одним из лучших чемпионов в супертяжелом весе, несмотря на его отдельные недостатки. Если бы я мог быть уверен в том, что Флойд вышел из своего странного состояния, в котором он находился все последнее время, я без колебаний поставил бы на него как на победителя предстоящего боя».
Мухаммед Али методично избивал Флойда в течение 12 раундов, после чего рефери принял решение остановить бой. Многие расценили действия Мухаммеда как стремление намеренно унизить Флойда. В боксерских кругах говорили, что Мухаммед поставил целью разрушить репутацию Паттерсона. Даже Кас признал полное доминирование Али в том поединке. В интервью для издания