Теперь Касу пришлось всерьез озаботиться своим финансовым положением. Он потратил бо`льшую часть средств на борьбу с Международным боксерским советом, объяснив произошедшее следующим образом: «Чтобы успешно вести борьбу с такими личностями, как боссы Международного боксерского совета, мне надо было содержать сеть информаторов, целую шпионскую структуру. Иначе не было шансов опередить этих людей». Кас работал с Хосе Торресом, но никогда не брал с боксера ни цента, поскольку до поры до времени у него все хорошо складывалось с Паттерсоном. Однако с учетом того обстоятельства, что финансовые средства, полученные в результате первого поединка между Листоном и Паттерсоном, все еще были заблокированы, Флойд обратился к Новемберу с просьбой летом 1964 года представить полный отчет по этому вопросу. Адвокат так и не дал ему удовлетворительного ответа. Определенной подсказкой, как Новембер собирался действовать, могло послужить то, что он подал в суд на Роберта Бойла и на журнал
Кас нанял влиятельного вашингтонского адвоката Эдварда Беннетта Уильямса, чтобы тот помог отследить движение финансовых средств. По расчетам Д’Амато, ему все еще причиталось около 250 тысяч долларов от доходов, полученных в результате двух поединков между Паттерсоном и Листоном. Было обнаружено, что, кроме средств, заблокированных правительством, до Каса так и не дошли другие деньги: Рой Кон разработал специальную схему отсрочки платежей для Паттерсона, чтобы избежать уплаты налогов. Промоутерское агентство Кона выплачивало Флойду проценты от его собственной прибыли, и по истечении десяти лет оно выдало бы Паттерсону всю сумму, сохранив при этом себе основной капитал!
Поскольку платежи откладывались, Д’Амато как менеджер не мог получить свою треть от общей прибыли, однако его все равно облагали налогами на ту сумму, которую он официально заработал. Повторялась ситуация, которая в свое время сложилась с Джо Луисом. Положение дел усугубляло то, что бухгалтерским учетом Каса занимались Новембер и тщательно подобранные им люди. Кас так и не смог выкарабкаться из этого затруднительного положения. Он погряз в финансовой трясине. По существу, Д’Амато был разорен, и у него не было возможности зарабатывать на жизнь, поскольку он подписал соглашение со штатом Нью-Йорк, предусматривавшее его отказ от менеджерской деятельности. Кас чувствовал, что Флойд предал его морально, а Новембер – финансово.
Затем ситуация еще более осложнилась. 23 мая Атлетическая комиссия штата Нью-Йорк одобрила годовой контракт Дэна Флорио, тренера Флойда: теперь он становился менеджером Паттерсона. Таким образом Кас был официально отстранен, не получив никаких объяснений от своего самого успешного ученика. Через неделю журнал
«Флойд Паттерсон уволил своего менеджера Каса Д’Амато. Это не стало неожиданностью. Последние два года Д’Амато был менеджером лишь на словах, но отнюдь не фактически. На прошлой неделе Паттерсон, повысив своего тренера Дэна Флорио до уровня менеджера, убил последнюю надежду на то, что когда-нибудь они вновь сойдутся с Касом. Бокс всегда был суровым видом спорта, для которого характерны длительные по озлобленности и весьма короткие по верности отношения между партнерами. Однако Кас и Флойд казались исключением из этого печального правила. Они больше походили на отца и сына, чем на менеджера и боксера. Д’Амато заключил с Паттерсоном своеобразный союз, пожав ему руку после триумфа на Олимпиаде 1952 года. Четыре года спустя Д’Амато обеспечил Паттерсону победу в титульном бою с Арчи Муром, в результате которой Флойд в 21 год стал самым молодым боксером, когда-либо выигрывавшим чемпионат в тяжелом весе. Д’Амато делал все возможное, чтобы защитить своего подопечного от оскорблений на расовой почве. Он бросил пить и курить, чтобы его бойцу было легче переносить соответствующие ограничения. Он посвятил свою жизнь тому, чтобы превратить Паттерсона в чемпиона и сохранить за ним этот титул. Временами он проявлял чрезмерную самоотверженность, заботу и разборчивость в выборе противников для Флойда. Возможно, он – как считают некоторые критики – несколько затормозил боксерскую карьеру Паттерсона. С другой стороны, нельзя исключать, что именно благодаря этой осторожности Паттерсон так долго владел чемпионским титулом и зарабатывал на этом столько денег.