Редкому художнику удается всю жизнь следовать от триумфа к триумфу, не оступаясь и не падая, не переживая под конец своих дней творческий упадок. Дюк Эллингтон не относился к избранникам. Уже в тот момент, когда он как художник джаза подходил к своей вершине, созданный им великолепный музыкальный механизм начал разваливаться.
Первый удар связан с уходом Кути Уильямса. Осенью 1940 года брат Бенни Гудмена Ирвинг, игравший на трубе и помогавший Бенни руководить оркестром, передал Кути предложение Гудмена перейти к нему в оркестр — главным образом чтобы играть в секстете. Кути разрывался: с одной стороны, он был привязан к оркестру Эллингтона, в создании которого сам участвовал, и чувствовал себя обязанным Дюку; с другой стороны, Гудмен предлагал ему двести долларов в неделю — по тем временам весьма приличное жалованье, которое Дюк то ли не мог, то ли не хотел платить. А главное, Кути хотел работать в оркестре Гудмена. Немалую роль в его решении сыграл и Сонни Грир, чью безответственность Уильямс, может, и терпел бы, будь Грир выдающимся джазовым барабанщиком. Кути признавался: «Оркестр Гудмена… я обожал его. У него был бит и еще что-то этакое, и мне очень хотелось с ним играть. Когда дело доходит до музыки, я забываю обо всем — все остальное для меня не существует». Ему нравилось, как играл Гудмен; позднее он особо выделял барабанщика по имени Дейви Таф, одного из лучших ударников того времени, пришедшего в оркестр Гудмена вскоре после Кути: «У него был потрясающий ритм… Это главное. У оркестра был потрясающий бит».
Разрываемый противоречиями, Кути рассказал Дюку о предложении Гудмена. Дюк, должно быть, пришел в замешательство, но, не утратив обычного самообладания, стал настаивать, чтобы Кути согласился. Позднее Кути утверждал, что, попроси Дюк его остаться, он бы отверг предложение Гудмена. Но Дюк, без сомнения, не желал унижать свое царственное достоинство какими бы то ни было просьбами; более того, по просьбе Кути он даже вел переговоры с Гудменом о его жалованье. Он посоветовал Кути работать только с секстетом. «Сидя в оркестре, ты затеряешься», — предупреждал он. Дюк, как всегда, вел себя благородно по отношению к сотрудникам со стажем.
Кути намеревался поработать у Гудмена один год и вернуться к Дюку. В начале ноября он покинул оркестр Эллингтона. Для джазового мира это было равносильно обращению папы римского в буддизм. Многие из наиболее рьяных поклонников Эллингтона презирали Гудмена за его богатство и славу, которые тот приобрел, играя, по их мнению, низкопробный джаз, и эти люди были вне себя от негодования. «Даун-бит» в номере от 1 ноября посвятил событию редакционную статью, сердитые письма сыпались потоком, а руководитель оркестра Рэймонд Скотт сочинил песню под названием «When Cootie Left the Duke»
Но Кути был счастлив: «Самая большая отдушина за всю мою жизнь в музыке…Этот год…И этот секстет — как он играл. Я просто наслаждался». Временами Кути выступал и в большом составе. Тем не менее он, как и обещал, через год покинул Гудмена, чтобы вернуться к Дюку. Но по каким-то неведомым причинам Эллингтон объявил Кути, что тот теперь стал звездой и должен организовать свой собственный оркестр: это даст ему возможность заработать кучу денег. Тогда Кути собрал свой оркестр, куда в разное время входили Бад Пауэлл и, правда недолго, Чарли Паркер. К сожалению, успеха оркестр не добился — по утверждению Джона Хэммонда, «из-за неумелого руководства и бесчисленных промахов». В какой-то период Кути начал пить. Кончилось тем, что оркестр развалился, и Кути остался с маленькой группой, которая поначалу выступала в качестве штатного оркестра в танцевальном зале «Савой», а потом и вовсе перешла на случайные заработки. Это было горькое падение для человека, который за десять лет до того принадлежал к верхушке джазового мира.