Со всей настоятельностью возникал вопрос, где и на какие средства будет жить молодая семья. Элфрид после долгих колебаний направился в штат Коннектикут, намереваясь там обосноваться. Тем временем Уильям с матерью жили в доме деда. Через несколько месяцев Элфрид написал письмо, приглашая жену приехать в небольшой городок Нью-Милфорд, находившийся на расстоянии сорока миль от Грейт-Баррингтона, вниз по реке Хусатоник.
Мэри, редко покидавшая Грейт-Баррингтон, не рискнула принять предложение мужа. Очевидно, важную роль сыграло и давление родителей, все более ожесточавшихся против Элфрида. Так разыгралась старая как мир трагедия: материальные трудности и антипатии родственников привели к распаду семьи. «Все кончилось тем, — вспоминал Дюбуа, — что мать не поехала к нему, а отец так и не вернулся в Грейт-Баррингтон. Возможно, он писал, но письма его перехватывали. Я ни разу не видел своего отца и не знаю, где и когда он умер и где похоронен».
У любой нации, у любого народа в трудном положении оказывается женщина, оставшаяся с ребенком на руках и в столь двусмысленном положении. Очень трудно пришлось и матери Уильяма Дюбуа, и только поддержка братьев, сестер, родных и близких Мэри давали ей силы растить сына и переносить все невзгоды.
Мать и сын жили просто, скромно. Уильям, вспоминая детство, отмечал, что ему не приходилось голодать, донашивать чужие обноски, чувствовать себя отщепенцем среди товарищей по детским играм и по школе. И только много лет спустя, на склоне лет Дюбуа писал: «Вспоминая прошлое, я теперь понимаю, что наша маленькая семья, мать и я, нередко, должно быть, оказывалась на грани нищеты».
До пяти лет Уильям жил с матерью у деда Александра, и это, пожалуй, были более или менее обеспеченные годы его существования. После смерти деда Мэри и Уильям продолжали жить в Грейт Баррингтоне, снимая помещение в различных местах города.
Семейная драма, вечные заботы сделали свое дело — скоро мать Уильяма разбил паралич, от которого она не оправилась до самой смерти. Мэри прихрамывала на левую ногу, и левая рука у нее была сухая. Мать и сын всегда ходили, держась за руки.
Шести лет Дюбуа стал посещать школу. Выдающиеся способности, тяга к учебе, поддержка родных и близких — все это позволило Дюбуа успешно пройти десятилетний курс обучения и первым из Бургхардтов получить аттестат об окончании средней школы. Десять месяцев в году, пять раз в неделю, с девяти утра до полудня и после перерыва с часу до четырех продолжались занятия в школе. Вскоре Дюбуа благодаря природным способностям и трудолюбию стал одним из лучших учеников и прочно завоевал расположение своей первой учительницы — строгой и непреклонной, но доброй и справедливой мисс Кросс.
Невелик был круг предметов, изучавшихся учениками: чтение, письмо, орфография, грамматика, арифметика, география и история. Конечно, в жизни школы важную роль играла религия. Каждое утро ученики выстраивались на молитву и пели. В школьном хоре выделялся чистый голос Уильяма Дюбуа.
Дюбуа обладал не только хорошим голосом, но и безусловными музыкальными способностями, присущими многим неграм. А касаясь голоса Дюбуа, надо отметить, что он сохранил его до последних дней своей жизни. Вспоминается один из последних приездов Дюбуа в Москву. Дюбуа вместе с Полем Робсоном выступал по Московскому телевидению. Рассказав телезрителям о борьбе негров США за равноправие, о негритянской проблеме и Африке, об актуальных задачах борьбы за мир и дружбу между народами, Робсон и Дюбуа спели одну из старинных негритянских народных песен.
Инициатором этого импровизированного концерта был Поль Добсон. Дюбуа не без смущения принял приглашение великого цевца. Вокальные данные Дюбуа выглядели более чем скромными на фоне неподражаемого голоса Робсона, которому, чувствовалось, было тесно в узких рамках телестудии. И тем не менее негромкий, но удивительно чистый голос Дюбуа, которому было тогда более 90 лет, невольно обращал на себя внимание. Выразительный, могучий бас Робсона перенес телезрителей ко временам далекого негритянского рабства, и был какой-то особенно глубокий смысл в том, что вместе с Робсоном пел выдающийся ученый, человек с мировым именем, который всю свою долгую жизнь посвятил борьбе против рабства народов во всех его проявлениях.
Дюбуа с большой теплотой вспоминал о своих школьных годах, об учителях, товарищах по учебе. В те годы среднее Школьное образование в Новой Англии не пользовалось особой популярностью. Многие считали его совершенно ненужной роскошью, и попечители не торопились ассигновывать средства на развитие средней школы.
Уильям учился буквально на медные гроши. Когда директор школы, обратив внимание на его способности к изучению языков, предложил ему изучать греческий язык, то мать и сын проявили колебание, прежде чем принять это предложение, так как учебники стоили дорого. Директору школы пришлось обратиться к жене местного фабриканта, хорошо относившейся к семье Дюбуа, которая и купила необходимые книжки.