Однако ничему этому не суждено было сбыться. На следующий день после того как Хосе выиграл чемпионский титул, он признался Питу Хэмиллу, что не может поверить в случившееся и все это похоже на сон. Однако что-то было не так. Сам Хосе рассказывал: «Я чувствовал себя не в своей тарелке». После схватки с Вилли Пастрано Торрес изменился, он уже не был прежним. Боксер трижды успешно защищал свой титул, но в нем не чувствовалось того запала, той искры, какие были у него на заре карьеры.
Падение интереса к боксу со стороны Торреса Кас объяснял его дружбой с известными писателями. При подготовке книги о Нормане Мейлере Д’Амато дал интервью ее авторам, в котором прямо заявил: «Единственное изменение, которое я заметил в Хосе после того как он подружился с Мейлером, – это отчетливое охлаждение к боксу. Торрес ходил по барам вместе со всеми этими писателями – с Хэмиллом, Баддом Шульбергом, Харви Брейтом, Гэем Тализом, – проводил там ночи напролет. И так как Хосе интересовался литературной деятельностью, он смотрел на этих людей снизу вверх».
Хосе проиграл чемпионский титул в декабре 1966 года Дику Тайгеру. Затем он провел еще три боя, прежде чем завершить спортивную карьеру и уйти с ринга. Впоследствии под наставничеством Хэмилла и Мейлера Торрес стал писателем. Касу он оставался верен до конца жизни.
Кас превратился в аналитика по боксу, публикуясь в различных средствах массовой информации. В апреле 1965 года журнал
О том, что честное имя Д’Амато реабилитировано, а его репутация восстановлена, свидетельствовал тот факт, что Каса пригласили в Вашингтон для дачи показаний на слушаниях по законопроекту о создании Федеральной боксерской комиссии. Он выступал вместе с Рокки Марчиано, Джеком Демпси и Джином Танни, которые поддержали этот законопроект. 8 июля 1965 года Д’Амато предстал перед Комитетом палаты представителей по межгосударственной и внешней торговле, чтобы обсудить вопросы, касавшиеся регулирования бокса. В своей речи Кас заявил:
«Я бывший менеджер бывшего чемпиона мира в супертяжелом весе, работал менеджером Хосе Торреса, действующего чемпиона мира в полутяжелом весе. Я занимаюсь боксерским бизнесом уже долгое время и, зная большинство представителей этой сферы, практику и методы их работы, утверждаю, что среди людей, наделенных соответствующими обязанностями, найдется мало компетентных специалистов. Очень немногие понимают, что от них требуется, практически никто не готов проявить мужество, чтобы противостоять неблагонамеренным силам. Порой представитель боксерского бизнеса может быть очень непопулярным. У меня самого был такой горький опыт. Я обнаружил, что после попыток сделать что-то в интересах своих боксеров у меня повсюду появилось очень много врагов. Проявив упорство, я в конце концов стал менеджером чемпиона мира в супертяжелом весе, что позволило мне попытаться хоть как-то повлиять на ситуацию, сложившуюся в мире бокса.
Должен добавить, однако, что мне не удалось это сделать. Я старался продвигать промоутеров, которые не были связаны с теми, кто заправляет в мире бокса. Мне представлялось важным, чтобы бойцы знали: если они имеют дело с этими промоутерами, то поединки в супертяжелом весе будут проводиться без участия лиц, контролирующих бокс. Также я хотел повлиять на менеджеров, ожидая, что они, воодушевленные моим успехом, последуют за мной. Но этого не произошло. Тем не менее в результате моих усилий Флойд Паттерсон, в то время чемпион мира в тяжелом весе, заработал больше, чем любой другой боксер в истории этого вида спорта. Он получил эти деньги, потому что я имел дело с людьми, готовыми платить, и у нас впервые была реальная конкуренция в боксе, ведь монополии больше не существовало. Я надеялся своим примером повлиять на других и зажечь в них искру, чтобы они тоже сражались за свои права. Но они либо не могли этого сделать, либо просто не захотели».
В какой-то момент Каса прервал представитель от штата Массачусетс Торберт Макдональд: