Несмотря на все междоусобицы в лагере Флойда, у Каса все еще было достаточно сил, чтобы избежать поединка Паттерсона с Листоном и в качестве альтернативы, несмотря на все возражения со стороны команды Роя Кона, организовать бой своего подопечного с Томом Макнили, крепким профессионалом из Бостона. Кас договорился о том, что Флойд получит 40 процентов выручки от билетных сборов и 50 процентов доходов от дополнительных прав. Кроме того, он вынудил менеджера Макнили положить миллион долларов на условное депонирование в качестве гарантии матча-реванша в случае поражения Флойда. Однако Кас испортил все дело, ввязавшись в перепалку с Атлетической комиссией штата Массачусетс. Он еще согласился с тем, что за Макнили, победившего подряд в 23 последних соревнованиях, болела огромная толпа из его родного города. Но когда местная Атлетическая комиссия отказалась от предложения пригласить рефери из другого штата, бой был перенесен в Торонто. Там Кас вступил в спор с председателем Атлетической комиссии штата Онтарио, который настаивал на том, что все судьи должны быть местными. Дискуссия достигла такого накала, что все усилия по организации поединка грозили стать напрасными. Кас подлил масла в огонь, посетовав на то, что Макнили слишком мало сделал для организации боя, оставшись тренироваться в Бостоне, а это отнюдь не способствовало привлечению зрителей.
В действительности мало кто переживал по поводу предстоящего мероприятия. Артур Дейли писал: «У Макнили есть все шансы. Примерно такие же, как и у Внешней Монголии стать первой страной, пославшей человека на Луну». Джимми Кэннон был более язвителен: «Фрэнки Карбо, комиссар криминала в боксерском мире, больше не нужен. Если бы этот старый гангстер не сидел в тюрьме, то он, вероятно, получил бы страховку по безработице. Ни одному чемпиону больше не приходится отстаивать титул в серьезных соревнованиях. Теперь нет необходимости уступать мафии часть прав на боксера, чтобы заставить другого бойца беспрекословно подчиняться. Достаточно просто найти такое место, как Торонто, и поставить своего боксера против клоуна вроде Макнили. Вы ни при каком раскладе не проиграете, и при этом вас не арестуют за мошенничество».
Встреча состоялась 4 декабря 1961 года. Паттерсон вновь выглядел недостаточно уверенно, хотя и укладывал Макнили на канвас восемь раз в четырех раундах. Каждый раз, оказавшись в нокдауне, Макнили решительно поднимался, а в последнем раунде даже успешно пробил Флойда. Лишь после того как Паттерсон четыре раза подряд сбил противника с ног, рефери Джо Уолкотт, наконец, остановил бой. Впоследствии Флойд поставил сам себе за поединок 55 баллов. Кас не согласился с этой оценкой, заявив: «Все было намного хуже». Опасаясь, что один только бой Паттерсона не принесет существенной прибыли от показа в кинотеатрах, промоутеры также добавили в программу показа – в качестве предварительного – поединок между Сонни Листоном и Альбертом Вестфалем, двукратным чемпионом Германии в супертяжелом весе. Сонни потребовался всего один раунд, чтобы мощным ударом правой сбить Вестфаля с ног. Тот остался лежать лицом в канвас, впервые в своей боксерской карьере оказавшись в нокауте. Артур Дейли в этой связи заметил: «Листон обработал Вестфаля с таким энтузиазмом, словно немец был копом».
К началу 1962 года Флойда все активнее уговаривали согласиться на встречу с Сонни Листоном. Новембер и Кон раз за разом приводили доводы в пользу этого боя. Кас все больше отходил в сторону. На состоявшемся 14 января 1962 года 36-м ежегодном ужине спортивных журналистов, пишущих на тему бокса, Кас даже не сидел вместе с Флойдом за столиком номер пять. А Новембер там был. Каса сослали за двадцать второй столик, где он оказался рядом со своим помощником Джорджем Латтимором, Говардом Коселлом и молодым парнем по имени Джимми Джейкобс, который станет одним из самых близких друзей учителя и моим менеджером.
Джимми Джейкобс был величайшим гандболистом в истории спорта, а по мнению многих, и выдающимся представителем мирового спорта. Джимми обладал отличным чувством юмора. В Лос-Анджелесе он жил недалеко от школы по развитию памяти. Разузнав имя директора, он дождался, когда тот вышел из здания, и радостно бросился к нему: «Джордж, как дела?» Директор, очевидно, напрягся, чтобы вспомнить, с кем имеет дело. «Джордж, ну ты что?! Только не говори, что забыл меня!» – обиженно воскликнул Джимми и с оскорбленным видом развернулся и ушел.
Джейкобс был страстным коллекционером, он собирал все – от комиксов до старых записей боксерских боев. Всякий раз, выиграв очередной гандбольный турнир и получив свою награду, он обращался к публике: «Я коллекционирую старые записи боксерских поединков! Если вам попадалось что-либо подобное, пожалуйста, дайте мне знать!»