Александр Дюбуа прожил на Гаити с 1821 по 1830 год, чем он там занимался, неизвестно, трудно определить и его имущественное положение. Ничего не известно также и о женщине, на которой он женился, но есть основания предполагать, что это была дочь Эли Дюбуа, известного деятеля просвещения на Гаити. От этого брака в 1825 году у них родился сын Элфрид, отец Уильяма Дюбуа.
В 1830 году дед Уильяма Дюбуа возвратился в США Спасаясь от дискриминации негров, Александр Дюбуа в 1856 го ду переехал в г. Спрингфилд, штат Массачусетс, и работал главным стюардом на пассажирском пароходе, плававшем между Нью-Хевеном и Нью-Йорком.
Материально семья деда Уильяма Дюбуа была достаточно хорошо обеспечена, но Александр Дюбуа был негром со всеми вытекающими отсюда последствиями. «Я видел деда лишь однажды, — вспоминал Уильям Дюбуа. — Мне тогда было пятнадцать, ему семьдесят семь лет. Он всегда держал голову высоко, был горд, имел мало друзей Он не был «негр» — он был человек! И все-таки обстоятельства были сильнее его. В то время, как и теперь, цветной мог либо иметь друзей только среди цветных, либо не иметь их вовсе; он мог жить либо в мире цветных, либо в одиночестве».
В этих словах Дюбуа ярко отображена суровая действительность «свободных» северных штатов. Даже образованный и состоятельный негр был парнем на Севере, круг его знакомств и интересов неизбежно должен был замыкаться узким миром цветных независимо, был ли он негром или мулатом, основанием для общественного остракизма служило даже отдаленное родство с неграми.
Александр Дюбуа был достаточно образованным по тому времени и начитанным человеком, он прошел большую жизненную школу, был энергичен, трудолюбив, требователен к себе и окружающим, обладал большим чувством человеческого достоинства. Таким людям было особенно тяжело, когда они сталкивались с расовой дискриминацией. Но избежать ее было невозможно, если человек не хотел обречь себя на полную изоляцию от окружающих.
Был, конечно, и другой путь — борьба против расовой дискриминации. Александр Дюбуа был молчаливым, ожесточившимся и суровым человеком. Он не относился к числу тех, кто быстро сближается с окружающими, и ему нелегко было стать на путь борьбы против дискриминации, так как для этого надо было войти в контакт с другими единомышленниками. Но нашлись люди, которые за внешней суровостью разглядели в Александре Дюбуа сильный и честный характер, увидели в нем готовность активно бороться за интересы негритянского народа. Возвратившись в США, дед Уильяма Дюбуа принял участие в борьбе против дискриминации негров.
Уильям Дюбуа очень мало знал о своем отце Элфриде Дюбуа. Ему было только известно, что он приехал с дедом Александром с Гаити, было неизвестно, где и как он учился, чем занимался с 18 до 35 лет. На фотографии, подаренной Элфридом матери Уильяма Дюбуа, он был сфотографирован в форме солдата федеральной армии периода гражданской войны. Но служил он в негритянском или белом полку, и как долго, тоже было неизвестно.
Элфрид был вспыльчивый и неуравновешенный человек. Дюбуа писал о нем: «Мой отец согнулся пред волей своего родителя, но не сломился. А лучше бы сломился. Он уступал, потом вспыхивал, потом просил прощения, не помня за что. Отец стал любимцем, которого держали в ежовых рукавицах, и он, протестуя, убегал из дома, где-то бродяжничал, любил женщин и в конце концов женился на моей темнокожей матери.
В 1867 году отец приехал в Грейт-Баррингтон. Он был невысок, хорошо сложен, с приятным смуглым лицом, едва тронутым солнцем. Лишь волнистые волосы указывали на его родство с Африкой По натуре он был, как мне кажется, мечтателем — романтичным, ленивым, добрым человеком, на которого нельзя положиться. В нем было что-то от поэта, у него была натура искателя приключений, бродяги. Таким его сделала жизнь, его окружавшая, и жизнь эта дала ему слишком мало».
По укоренившейся традиции к мулатам, особенно светлокожим, многие негры относились с предубеждением. Объяснялось это тем, что, не имея ярко выраженных внешних признаков негритянской расы, они зачастую скрывали свое происхождение и с пренебрежением относились к своим чернокожим братьям.
По этой причине или потому, что Элфрид Дюбуа был отнюдь не завидным женихом: у него не было работы и ни гроша в кармане, во всяком случае, семейство Бургхардтов невзлюбило мужа Мэри Бургхардт. Элфрид и Мэри сняли помещение в одном из домов Грейт-Баррингтона, где и родился Уильям Дюбуа. После рождения Уильяма, ставшего предметом восхищения всей родни, взаимоотношения молодой семьи с родственниками жены несколько нормализировались, но не настолько, чтобы Элфрид смог войти в семью черных Бургхардтов.