К этому моменту к ним присоединились еще двое Эллингтонов: Джордж — брат Джеймса Эдварда и Эдвард (кем он приходился остальным, также не установлено). Известно, что эти четверо во всем поддерживали друг друга. Они вместе жили (по двое или по трое) и нередко помогали один другому устроиться на работу — судя по тому, что часто служили в одних и тех же местах. Эллингтоны — а некоторым из них к концу 90-х годов не исполнилось и двадцати лет — представляли собой группу умных и энергичных молодых людей, твердо намеренных добиться жизненного успеха.
Отцу Дюка — Джеймсу Эдварду, или Джею Э., как его обычно называли, — посчастливилось, когда в 1897 или 1898 году он попал в дом доктора М. Ф. Катберта, по-видимому имевшего аристократическую клиентуру и наблюдавшего семейства Моргентаусов и Дюпонов. Джеймс Эдвард, которому еще не было двадцати, начал работать кучером и получил жилье у хозяев, видимо, в комнатке при конюшне или каретном сарае, как и полагалось в те времена. Он прослужил в семье Катбертов почти двадцать лет и, сменив несколько должностей, занял наконец место домоправителя. Какие именно обязанности он выполнял, неизвестно. Но домоправитель в богатом доме — важная персона. Он надзирает за остальной прислугой и отвечает за изысканные увеселения, которые в ту пору были в обычае у людей этого круга. Джеймс Эдвард изъяснялся витиевато, очевидно переняв стиль речи у собственного отца, который, по воспоминаниям Рут — сестры Дюка, пытался заигрывать с девушками, уже будучи прикованным параличом к инвалидному креслу. Он направо и налево раздавал пошловатые комплименты типа: «Милашка может стать еще чуть-чуть милее, но красота — это навек». Он одевался настолько элегантно, насколько мог себе позволить, и жил широко, насколько хватало средств. «Джеймс Эдвард, — рассказывал Дюк, — был его карман полон или пуст, всегда вел себя так, будто у него куча денег. Он держался как богатый человек и воспитывал детей так, как если бы был миллионером». Обладая этими качествами, он быстро воспринял образ жизни хозяев. Он научился разбираться в винах и кушаньях, а также в фарфоре и тонкостях сервировки стола. Набравшись опыта, Джеймс Эдвард вместе с другими членами клана Эллингтонов стал обслуживать приемы в лучших домах Вашингтона. Однажды его даже пригласили в Белый дом. Он не только приносил своим домашним лакомую еду, но и получал в подарок от Катберта и других разрозненный фарфор и некомплектное столовое серебро. Эти вещи входили в обиход его семьи. Джеймс Эдвард понимал, что значит быть Джентльменом, и твердо решил стать им. Во всем этом обнаруживалась доля нарочитости, но его стремление к самоутверждению вызывает глубокое уважение. Дюк Эллингтон вырос не в богатом доме, временами с деньгами бывало туго, и отчасти из-за жажды отца иметь только самое лучшее. Но, как это ни парадоксально, мальчик, в отличие от большинства своих ровесников, знал толк в шампанском и веджвудском фарфоре. И, конечно, тяга отца к изящному, пусть и поверхностная, отразилась на формировании житейских пристрастий Эллингтона. Он чувствовал себя ущемленным, если не получал всего по высшему классу, но оценивал себя не суммой заработанных денег, часто вообще этим не интересуясь. Все дело было в образе жизни.
Приблизительно в то же время, когда Джеймс Эдвард устроился в дом доктора Катберта, он познакомился с Дейзи Кеннеди. Ее семья занимала более высокое положение в негритянском Вашингтоне. Ведь Джеймс Эдвард начинал поденщиком, а отец Дейзи, Джеймс Уильям Кеннеди, был капитаном полиции, что предполагало политические знакомства, власть в негритянской среде и определенные отношения с белым истэблишментом.
Существовала семейная легенда, что отец Дейзи родился рабом в Виргинии и был незаконным сыном плантатора и рабыни. И сам Джеймс Кеннеди полюбил рабыню, тоже со смешанной кровью — негритянской и индейской. Хозяин освободил его (рабовладельцы иногда поступали так со своими сыновьями-полукровками), и юноша уехал в Вашингтон. После отмены рабства он вернулся в Виргинию за своей возлюбленной и перевез ее к себе, в столицу, где у них, по разным источникам информации, родилось девять, десять или двенадцать детей. Кеннеди был светлокожим, а кожа его дочери Дейзи выглядела еще светлее, так что, возможно, легенда заслуживает доверия.
Джеймс Кеннеди умер, когда Дюк был еще ребенком, в его детской памяти тот не сохранился, зато Дюк прекрасно помнил свою бабушку — Элис Кеннеди, которая прожила долгую жизнь. В семье ее называли Мама, она вела дом, полный детей и внуков, которые рождались и вырастали, рождались и вырастали.
Дейзи Кеннеди росла очень набожной и воспитывалась в строгих викторианских традициях. По словам близкого друга семьи Фрэн Хантер, Дейзи была «благонравна» и «вела себя с большим достоинством». Рут рассказывала: «Моя мать придерживалась строгих правил», она не красила губы, носила пенсне и была «настоящей викторианской леди».