Флойд продолжал выступать на ринге и в свои 32 года практически все время проводил в новом тренировочном лагере, разместившемся в обветшалом здании рядом с пустующим коттеджем недалеко от Ньюбурга в штате Нью-Йорк. Жена развелась с ним и вместе с детьми переехала в Массачусетс. Тем не менее Флойд в интервью Дэйву Андерсону, спортивному обозревателю
К началу 1967 года Флойд и Кас все еще ждали выплат, причитавшихся им за первый бой с Листоном. В том же году Министерство юстиции США официально рекомендовало возбудить уголовные дела против Роя Кона, Тома Болана и остальных руководителей агентства Championship Sports. В конечном итоге все ведомства, задействованные в расследовании организации состязания между Паттерсоном и Листоном, – Министерство финансов, Министерство юстиции и даже Налоговое управление, – сняли свои обвинения. Однако финансовые средства пока еще не были разблокированы. К 1968 году Флойд женился на шведке, и у них родилась дочь. Он заявил прессе, что в случае победы над Джимми Эллисом в предстоящем состязании, проведение которого планировалось в Швеции, «есть шанс, что он снова встретится с Касом Д’Амато».
Поединок продолжался 15 раундов, и Паттерсон проиграл раздельным решением судей, которое было освистано шведскими болельщиками, обожавшими Флойда. Вернувшись домой, Паттерсон уволил Джулиуса Новембера, своего давнего адвоката. По утверждению Флойда, Новембер сделал четыре крупных вложения, используя его деньги, и все они потерпели неудачу, включая инвестицию «многих сотен тысяч долларов» в компанию Роя Кона Lionel Trains. После этого Паттерсон принялся судиться с Новембером за грубые ошибки в бухгалтерской отчетности.
Финансовое положение Каса было не лучше, чем у Флойда. Он как-то заявил своему другу Джину Килрою, что, если только у него возникнет серьезная потребность в деньгах, он поедет в Вашингтон и потребует доступ к тем финансовым средствам, которые правительство положило на депозитное хранение после первого поединка между Паттерсоном и Листоном. Но в 1980 году, отправившись в Вашингтон, он узнал, что все эти средства были переданы Паттерсону. Как упомянул Кас в разговоре с Джо Коланджело, своим близким другом, жившим в Кэтскилле, его доля составляла сотни тысяч долларов. «Паттерсон, по существу, украл эти деньги, – рассказал нам Джо. – И после этого Д’Амато по-прежнему относился к нему как к своему сыну и защищал его, несмотря ни на что. Я часто напоминал Касу: «Паттерсон тебя обокрал!» А он возражал мне. Тогда я приводил ему старое итальянское выражение: «Ты можешь говорить все, что угодно, но нельзя лгать парню в зеркале». Я много раз пытался поставить Каса перед фактом мошенничества Паттерсона, и в конце концов он сказал мне: «Флойд знает, что сделал! И это единственное, что имеет значение. Он знает, что натворил!»
Еще в тот период, когда у него был Флойд Паттерсон – чемпион-тяжеловес, Кас начал одновременно тренировать Хосе Торреса – боксера среднего веса. Торрес выиграл серебряную медаль на Олимпийских играх 1956 года, и боксеры, занимавшиеся в спортзале Gramercy, которые ездили в Мельбурн, рассказали о нем Касу. У Д’Амато сохранилась испанская газета
Между Касом и Хосе сложились доверительные отношения. Это следует из большой статьи о Хосе, опубликованной в 1958 году журналистом Гэем Тализом в