В 1936 году ему улыбнулось что-то похожее на удачу. Джек Блэкберн взял его в качестве спарринг-партнера для Джо Луиса, который как раз готовился к бою с Максом Шмелингом. Но через несколько дней его выгнали. Луис никогда не распространялся о том, что произошло в тренировочном лагере. Полагают, что во время спарринга Уолкотт послал Луиса в нокдаун. Сам Джерси Джо утверждал даже, что за два дня он сделал это трижды, причем в больших тренировочных перчатках, после чего Блэкберн указал ему на дверь. Уолкотт сделал из этого два вывода: во-первых, по отношению к нему совершена вопиющая несправедливость, во-вторых, он гораздо лучше Луиса.
Джерси Джо был не прав и в том, и в другом. Задача спарринг-партнера — не драться с основным боксером насмерть, а помогать готовить его к поединку, который ему предстоит. Луис не собирался рисковать получить травму накануне важного боя. Он выходил на разминку, а не на смертный бой. Уолкотту же, которого терзала обида за всю свою несложившуюся жизнь, надо было доказать Луису, Блэкберну и самому себе, что он лучший. Себе он все доказал, и вполне возможно, что именно эта вера позволила ему выдержать дальнейшие невзгоды.
Годы с 1937-го по 1945-й мало отличались от прежних. Джерси Джо кочевал с одной работы на другую, временами заглядывая и на ринг. Он женился в 18 лет — на девушке по имени Лидия, которую любил всю оставшуюся жизнь, и семья его постепенно росла, пока количество детей не дошло до шести, и всех
надо было кормить. Деньги всегда нужны были сейчас, поэтому практически никогда, ни к одному бою он не готовился больше нескольких дней. Перед и после него он обязательно работал где-то еще. В 1940 году Уолкотт встретился с довольно известным белым тяжеловесом Эйбом Саймоном, получив за это едва ли не самый большой гонорар в жизни — 250 долларов. Саймон получил раз в 10—15 больше. Если бы Уолкотт перед боем хоть немного потренировался или хотя бы по-человечески поел несколько раз, он бы порвал Саймона в клочья, но ни того, ни другого он позволить себе не мог и в шестом раунде упал — не столько от силы ударов Саймона, сколько от истощения.
В 1942/43 году он не выступал, как и большинство других боксеров, а потом вернулся на ринг.
В начале 1945 года Уолкотгу наконец повезло: на него обратил внимание серьезный промоутер, готовый вложить в него деньги. Феликс Бокикио, только начинавший свою деятельность в боксе, увидел рабочего корабельной верфи Арнольда Крима на ринге, где он выступал под именем Джерси Джо Уолкотт, и был потрясен, что тяжеловес с таким потенциалом фактически прозябает. Более того, он скоро узнал, что бои Уолкотт проводит полулегально, так как Боксерская комиссия штата Нью-Джерси отказала ему в выдаче лицензии на том основании, что он слишком стар. Здесь все получилось по принципу «на ловца и зверь бежит». Бокикио для старта позарез нужен был хотя бы один хороший боец, и он его без устали искал, но только для того, чтобы убедиться, что всех приличных боксеров давно расхватали, а тут вдруг такая удача. Ему быстро удалось убедить комиссию, что в 31 год не поздно начинать серьезную карьеру в боксе, после чего Джерси Джо Уолкотта впервые в жизни послали в настоящий тренировочный лагерь, где он не только тренировался, но еще и хорошо питался, и впервые в жизни набрал нормальный для своих 183 см и широкой кости вес — около 90 кг. Результаты не заставили себя долго ждать.
2 августа 1945 года Уолкотт встретился с Джо Бакси, занимавшим тогда второе место в рейтинге тяжеловесов. Бакси ожидал, что будет легкий, разогревочный бой, но, к его удивлению, Джерси Джо учинил ему настоящую порку и победил в 10 раундах по очкам. Тогда это восприняли не как сенсацию, а скорее как нелепость.
В начале 1946 года Уолкотт победил очень популярного тяжеловеса Джимми Бивинса. Вскоре, правда, последовали два досадных поражения от известных боксеров Элмера Рэя и Джои Максима, но в следующем году Уолкотт победил их в матчах-реваншах, причем Максима даже дважды. Последний бой с Максимом видел Джо Луис. После того как была объявлена победа Уолкотта, чемпион поднялся на ринг, и их сфотографировали вместе. Кстати, промоутером этого боя совместно с Бокикио был Фрэнк Синатра, который обеспечил Уолкотгу сказочный для него гонорар — 35 тысяч долларов.
Очень скоро Бокикио удалось договориться с командой Джо Луиса, и в 33 года Джерси Джо Уолкотт впервые вышел драться за титул чемпиона мира. Как мы уже знаем, его засудили. Всегда честный Джо Луис согласился провести матч-реванш, состоявшийся в 1948 году. Уолкотт не сомневался в победе, но в 11-м раунде Луис его нокаутировал, после чего заявил о своем уходе с ринга. Бой за вакантный титул был назначен между Уолкоттом и Эззардом Чарльзом, и великолепный боксер Чарльз победил своего более тяжелого соперника.
Уолкотт сказал самому себе «еще не вечер» и продолжил выступления на ринге.