К сожалению, как раз в это время в творчестве Оливера начинается спад, хотя пока никто этого еще не замечает. Судьба «Кинга» Оливера — одна из наиболее грустных историй, которые когда-либо знал музыкальный мир, хотя грустными историями этот мир не удивишь. В течение всего 1924 года Оливер продолжал выступать в кабаре «Линкольн-гарденс» с группой, состав которой все время менялся. Накануне рождества танцзал сгорел, и Оливер перешел в кабаре «Плантейшн». В 1926 году он возобновил записи на пластинки, но уже с ансамблем «Dixie Syncopators». За пять лет было сделано 45 записей, благодаря которым имя Оливера стало известным широкому кругу любителей эстрадной музыки, хотя он все же уступал в популярности таким звездам, как, например, Пол Уайтмен. Особым успехом пользовались грамзаписи, сделанные Оливером в 1928 году.
Пластинки помогли ему получить ряд приглашений от нью-йоркских антрепренеров. Однако он их отклонил. 1 февраля 1927 года за нарушение правил торговли спиртными напитками «Плантейшн» был закрыт, и Оливер остался без работы. Надеясь на успех на новом месте, он вместе с группой направляется в восточные штаты страны. В Нью-Йорке его приглашают в одно из наиболее известных кабаре «Коттон-клаб». Оливер отклонил это предложение, поскольку его не устраивали размеры предложенного ему гонорара. Это была большая ошибка. «Дюк» Эллингтон, которому досталось это место, сумел использовать его как трамплин к общенациональной известности. Вопреки ожиданиям Оливера получить работу в Нью-Йорке оказалось не так легко, и оркестр в конце концов окончательно распался.
Оливер продолжал делать записи со случайными ансамблями. В конце 1928 года он стал выступать с группой, сколоченной его племянником, трубачом Дэйвом Нелсоном. В течение 1931 года вместе с этой группой он записал новую серию пластинок, оказавшуюся неудачной. В основном это были банальные песенки о любовных терзаниях, сочиненные им вместе с Нелсоном. Почему-то Оливер возлагал на своего племянника большие надежды, считая, что тот может помочь ему вернуть успех.
В довершение всех его бед Оливер заболел. Его мучила пиорея, болезнь десен. После 1926 года он играет все реже и реже. Оливер уже не может, как прежде, исполнять подряд хорус за хорусом. На пластинках, выпущенных в 1927 году, его труба слышна меньше половины всего времени записи. К концу следующего года он вообще оказывается не в состоянии выступать. По словам «Барни» Бигарда, как только Оливер пытался играть, «его расшатанные зубы начинали ходить ходуном» . В 1929 году он обзаводится челюстными протезами и возобновляет концертную деятельность. В середине того же года были сделаны записи, во время которых Оливер исполнил несколько сольных номеров, но основная игровая нагрузка падает теперь на других членов группы, и прежде всего на Дэйва Нелсона. В 1930 году во время одного из сеансов записей он даже вынужден поручить исполнение соло с плунжерной сурдиной специалисту по граул-эффектам «Бабберу» Майли из оркестра Эллингтона. Сам Майли научился технике такой игры у Оливера, поэтому нетрудно представить, каким страшным унижением для надменного «Кинга» было стоять без дела в студии и слушать, как подражают его стилю.
Дальше все пошло еще хуже. После 1929 года по ряду причин, о которых мы расскажем ниже, музыкальный бизнес начинает переживать большие трудности. Одно за другим закрываются кабаре. Не выдержав конкуренции со стороны радио, многие фирмы звукозаписи обанкротились. В 1931 году фирма «Victor» отказалась возобновить контракт с Оливером, и ему пришлось вместе со своим ансамблем отправиться на гастроли в южные штаты. На старом, скрипучем, постоянно ломающемся автобусе они едут от одной деревушки к другой, едва успевая попасть в назначенное место к началу концерта. Оливера постоянно обманывают владельцы танцзалов, от него уходят оркестранты. Ему уже не на что больше опереться, кроме как на собственную гордость, но тем не менее Оливер не сдается. По словам тромбониста Клайда Бернхардта, больные десны причиняли Оливеру такую жгучую боль, что он был не в состоянии играть больше полутора часов подряд. Весь остаток вечера он простаивал рядом с эстрадой, на которую возвращался только во время исполнения самых последних номеров. Но, несмотря на это, говорит Бернхардт, «он играл великолепно… Казалось, его труба рыдает и стонет» . Дэйв Кларк, антрепренер из штата Теннесси, рассказывал, что «Джо всячески избегал выступлений в Новом Орлеане и его окрестностях, так как не хотел, чтобы публика родного города видела его в таком плачевном состоянии. Он и меня просил, чтобы маршрут гастролей не проходил через большие города, где его хорошо знали, так как всеми силами старался сохранить свою репутацию» .