Недоволен был и Ходжес — в особенности тем, что, по его мнению, Дюк загребал большие деньги за мелодии, которые написал в основном он, Ходжес. Таким образом, наболевших проблем скопилось немало. Никак не могло пойти на пользу и то, что оркестр, по общему мнению, катился вниз, да и с деньгами возникали сложности. В довершение всего музыканты видели, что оркестр все больше подчиняется личным честолюбивым целям Эллингтона, в особенности его работе над крупными формами. Музыканты перестали быть звездами в их совместном предприятии — они превратились в наемных служащих, которые делают то, что им велят. Ходжес знал, что критики и знатоки считают его одним из лучших музыкантов за всю историю джаза, и несомненно понимал, что заслуживает большего, чем низкооплачиваемое место рядового оркестранта. Но, возможно, ни он, ни другие музыканты не покинули бы оркестр, не предложи в начале 1951 года Норман Гранц свою поддержку Ходжесу при условии, что тот составит ансамбль из участников оркестра Эллингтона, желающих пойти за ним.
Гранц был джазовым антрепренером, добившимся гигантского финансового успеха со своими передвижными джем-сешн, которые он назвал «Jazz at the Phylharmonic» «
Разумеется, Гранц был хорошо осведомлен о недовольстве, которое зрело среди музыкантов, и ему не составило большого труда уговорить Ходжеса уйти из оркестра. Какой бы шок ни вызвал у поклонников Эллингтона поступок музыкантов, проработавших с ним в сумме лет сто, они не были его крепостными слугами, и желание таких оркестрантов, как Ходжес, начать самостоятельную работу можно считать вполне естественным.
Оркестру Ходжеса суждено было добиться лишь минимального успеха. Коллектив имел один боевик Эла Сирса под названием «Castle Rock», и какое-то время у оркестра хватало работы. Однако года через четыре дела пошли хуже, и Ходжес вернулся к Эллингтону. Вернулся впоследствии и Браун, но пока что он поступил в штат студийного оркестра в Си-би-эс и сам по себе играл в Нью-Йорке.
Сонни Грир продержался в оркестре Ходжеса недолго. Официально было объявлено, что он уходит из-за болезни жены и нежелания ездить на гастроли. Однако в действительности ему, несомненно, пришлось уйти из-за собственной безответственности и слабеющего здоровья. Для многих любителей джаза Сонни Грир оставался легендой, человеком из волшебной юности джаза, и ему удалось найти работу. В 70-е годы он играл в дуэте с пианистом по имени Брукс Керр, тогда еще очень молодым человеком, сделавшим своей специальностью исполнение сочинений Эллингтона. Но в основном Грира содержал Эллингтон, который все это время не исключал его из своей платежной ведомости.
Невзирая на это массовое дезертирство, Эллингтон внешне, как всегда, сохранял присутствие духа, хотя и был, несомненно, изрядно выбит из колеи. Многим могло прийти в голову, что корабль тонет и матросы прыгают в спасательные шлюпки. Дюку приходилось что-то делать для стабилизации положения и возвращения былого блеска своей репутации.
Неизвестно, кто и как вел переговоры, однако буквально через несколько дней после ухода Ходжеса и компании стало известно, что Тизол покидает Гарри Джеймса и возвращается к Эллингтону. Более того, Тизол — явно по поручению Дюка — уговорил еще двух музыкантов, ведущего альт-саксофониста Вилли Смита и ударника Луи Беллсона, перейти от Джеймса к Эллингтону. Само собой разумеется, джазовая пресса тут же окрестила это событие «Великим ограблением Джеймса» «