Лил Хардин умела добиваться своей цели в жизни. Армстронг был типичным провинциалом — робким, застенчивым и наивным. Лилиан поставила перед собой задачу не только подчинить Армстронга, но и сделать так, чтобы он перестал постоянно находиться в тени, перестал прятаться за Оливера. Прежде всего она заставила его сбросить больше двадцати килограммов веса. Затем ему пришлось выбросить свою поношенную одежду и купить новую, которую она ему выбрала сама. Далее, она настояла на том, чтобы Луи сам распоряжался своими деньгами, так как до сих пор он отдавал их на сбережение Оливеру. В конце концов Лил организовала развод себе и Армстронгу, и 5 февраля 1924 года под звон бокалов с шампанским состоялась свадебная церемония. Брак обещал быть удачным и сулил молодоженам счастливую жизнь.
Самое главное, Лил сразу же поняла, что Армстронг с его робостью и застенчивостью может на всю жизнь остаться вторым корнетом, подыгрывая Оливеру или кому-нибудь другому. Уже в конце жизни она как-то сказала своему приятелю Крису Албертсону: «Когда к нам приходил Джо [Оливер], казалось, что пришел сам господь бог. В его присутствии Луи никогда не чувствовал себя совершенно свободно, он постоянно боялся чем-нибудь его огорчить… Я понимала, что их необходимо каким-то образом разлучить…» . И еще одно доверительное признание Лил: «Луи не хватало уверенности в себе. Он не верил в свои силы» .
А тем временем в оркестре уже начался разлад. Вот что пишет об этом Албертсон: «Джо Оливер постоянно сердился на Лил, говорил, что она — испорченный ребенок и что рано или поздно она растранжирит все заработанные Луи деньги. Одна из ссор между „Бэби“ Доддсом и Армстронгом кончилась дракой, во время которой Луи скинул ударника с эстрады вместе со всеми его барабанами… Потом Джонни Доддс обнаружил, что Оливер прикарманивает часть зарплаты своих коллег. Братья Доддс и Дютре не только заявили о том, что уходят из оркестра, но и пригрозили избить своего руководителя. Все то время, пока они еще выступали с ансамблем, Оливер постоянно держал в футляре своей трубы пистолет. Лил играла, поглядывая на Джо, и готова была мгновенно нырнуть под фортепиано, начнись вдруг перестрелка» .
Оркестр разваливался на глазах. Армстронг почувствовал, что у него появилось оправдание, и, подталкиваемый Лил, предупредил о своем предстоящем уходе. При этом он так нервничал из-за необходимости принять самостоятельное решение, не получив предварительного одобрения от своего покровителя, что сообщил о нем Оливеру не сам, а попросил сделать это за него одного из оркестрантов.
Лил Хардин какое-то время еще продолжала работать в оркестре. Дезертиров заменили новыми людьми, но дни «Creole Jazz Band», просуществовавшего целых двенадцать лет, были сочтены. Оливер начал постепенно отходить от новоорлеанского стиля, для создания которого он так много сделал. Оркестр пополнился саксофонистами, музыканты стали исполнять лишь заранее написанные аранжировки, чаще солировать. Когда в 1926 году группа Оливера, называвшаяся теперь «Dixie Syncopators», снова сделала запись, оказалось, что она играет по образцу стремительно входивших тогда в моду танцевальных ансамблей, подражавших джазовой манере исполнения. Наиболее известными среди них были ансамбли Флетчера Хендерсона, «Дюка» Эллингтона, Бенни Моутена, Стюарта и ряд других.
Творческие достижения «Creole Jazz Band» в огромной степени помогли привлечь внимание американцев к джазу. Оркестр выступал на многих сценах — в «Орфеум-серкит», «Уинтер-гарденс», «Пергола данс павильон», «Линкольн-гарденс», — но так никогда и не стал по-настоящему знаменит. Только в самые последние годы его начали приглашать на студии грамзаписи. Но гораздо важнее было другое, а именно то, что еще в 1913 году ансамбль наглядно показал белым антрепренерам и импресарио, что у новой музыки есть значительная аудитория — среди белых и среди негров, что она вызывает большой интерес тех исполнителей, кто хоть раз ее услышал. К 1920 году оркестр Оливера становится хорошо известным в среде музыкантов-профессионалов. Появилась группа белых юношей, которые старались любой ценой услышать игру ансамбля. Иногда они просто садились на край тротуара и слушали музыку, доносившуюся до них из окон концертного или танцевального зала. Среди них были «Бикс» Бейдербек, Джин Крупа, Маггси Спэниер и другие, которые через десяток лет сыграли важную роль в формировании джаза.