Теперь это уже не имело смысла — дела Оливера шли все хуже и хуже. В конце концов в городе Саванна, штат Джорджия, от него ушли все оркестранты, поскольку он не мог платить им как следует. И тогда Оливер сдался. Старый, больной человек, он пытается найти любую, пусть даже физическую работу. Он нанимается подметать помещение какого-то бассейна… Но дух его не сломлен. Упрямый, настойчивый Оливер преисполнен решимости вернуться на сцену. В душераздирающих письмах к сестре, живущей в Нью-Йорке, он сообщает о своих планах уехать снова на Север, чтобы там заново начать музыкальную карьеру. Он пишет, что сможет сделать это не раньше весны, так как у него нет денег на пальто. «Я начал понемногу откладывать деньги, — говорится в одном из писем, — и уже накопил доллар и шестьдесят центов, которые стараюсь не тратить. Хочу собрать на билет до Нью-Йорка» .
Доллар и шестьдесят центов! Это все, что было у «Кинга» Джо Оливера, короля трубы. Нечего и говорить, что он так и не купил железнодорожный билет до Нью-Йорка. 8 апреля 1938 года после кровоизлияния в мозг Оливер скончался. Его похоронили на кладбище Вудлаун в Бронксе.
Многие трудности, которые пришлось пережить Оливеру, были вызваны общим кризисом 1929-1930 годов и тем спадом, который переживал тогда музыкальный бизнес. Но в некоторых своих бедах был виноват он сам. Как писал Бернхардт, «Оливер страдал комплексом неполноценности и часто бывал просто невыносим. Почему-то он считал, что люди моложе его по возрасту якобы не хотят иметь с ним дела» . «Джо Оливер никому не доверял, — говорил Луи Армстронг. — У него никогда не было менеджера или агента. Это и явилось причиной его падения» .
Однако, несмотря на грубость и подозрительность, Оливер был глубоко порядочным человеком. Конечно же, возмутительно, что последние дни своей жизни ему пришлось питаться объедками и одеваться в лохмотья. В 1937 году во время гастролей Армстронга в Саванне он встречался с Оливером. (Скорее всего, Оливер сам разыскал Армстронга.) Позднее Армстронг рассказывал, что он отдал своему бывшему покровителю все имевшиеся у него в наличии деньги. Думается, что для такого человека, как Оливер, он мог бы сделать и нечто большее. И Армстронг, и, пусть в меньшей степени, другие новоорлеанские музыканты оставались в неоплатном долгу перед Оливером. Даже если когда-то он действительно утаивал часть заработанных ими денег — все равно, это они были ему должны, а не он им.
В конечном счете жизнь все расставила по своим местам, и Оливер взял реванш за мытарства. В наши дни он гораздо более знаменит, чем при жизни. Почти любую его запись можно сегодня купить в Токио, Стокгольме, Нью-Йорке или Новом Орлеане. Специалисты изучают тончайшие нюансы его исполнительской манеры. О нем написано гораздо больше, чем о других, теперь уже почти забытых руководителях оркестров, в тени которых он находился в течение многих лет со дня своего падения. Последние годы Оливера были ужасными, но, что бы ни думал «Кинг» о своей судьбе, жизнь он прожил недаром.
В 1924 году Армстронг неожиданно оказался без работы. «Ты заставила меня уйти от Оливера, — сказал он Лил, — что же теперь мне делать?» Хардин предложила ему обратиться к Сэмми Стюарту, руководителю одного из самых популярных в Чикаго негритянских танцевальных оркестров. Это был крепко спаянный коллектив, долго работавший в неизменном составе. Стюарт не принял Армстронга. Как уверяет пианист Эрл Хайнс, его и Луи не взяли только потому, что светлокожие оркестранты Стюарта не хотели работать с музыкантами, чей цвет кожи был темнее. Тогда Армстронг предложил свои услуги Олли Пауэрсу, певцу и ударнику, неплохо чувствовавшему джаз. Его группа работала в разных местах, в том числе и в кафе «Дримленд», где часто выступала Лил. Пауэрc заключил контракт с Армстронгом. Это означало, что Луи окончательно вырвался из-под влияния Оливера.
Популярная в те годы певица Алберта Хантер, которая потом, уже в немолодые годы, сумела вернуться на сцену и пела вплоть до 1980-х годов, рассказывала, что кафе размещалось в «огромном помещении со стеклянным полом». Она утверждала, что ей довелось выступать в «Дримленде» с группой Пауэрса в то самое время, когда там работал Армстронг, и что оркестр размещался на балконе, нависавшем над танцплощадкой.