Перед этим Рокфеллер обсуждал с сыном и Гейтсом учреждение крупного фонда для стимулирования образования негритянского населения. Он был знаком с деятельностью алабамца Дж. Л.М. Карри. Он знал также о пожертвованиях на образование негритянского населения и другой помощи югу со стороны Роберта К. Огдена, который был долгое время деловым партнером Джона Уэйнамейкера и директором (потом председателем совета директоров) Союзной теологической семинарии в Нью-Йорке. Летом 1898 и 1899 годов эти двое деятелей собрали в Капон-Спрингс, Виргиния, некоторых людей, заинтересованных в образовании на юге, и организовали совет, председателем которого стал Карри, а вице-председателем – Огден.
В 1901 году Джон Д. Рокфеллер-младший всерьез задумался о помощи югу и обсудил этот вопрос с отцом, Гейтсом и Уоллисом Баттриком, председателем комиссии по образованию Баптистского национального миссионерского общества. Тот знал проблемы юга не только понаслышке. После разговоров с Болдуином, Пибоди и другими молодой Рокфеллер пришел к убеждению, что помощь белым южных штатов не менее важна, чем помощь цветным.
15 января 1902 года шесть человек – Огден, Карри, Пибоди, Болдуин, Баттрик и Джон Д. Рокфеллер-младший – встретились в доме почтенного банкира-филантропа Морриса К. Йесупа. Они решили учредить организацию для развития образования. Группа стремилась сделать первый шаг к тому, что должно было стать одним из наиболее далекоидущих благотворительных проектов века. 27 февраля 1902 года та же группа, с участием, кроме того, Даниеля Койта Гилмэна, Альберта Шоу, Уолтера Хинеса Пейджа и Эдварда М. Шепарда в качестве консультанта, собралась в доме молодого Рокфеллера на 54-й стрит. Они избрали Болдуина председателем, зачитали и подписали заявление о намерениях и разработали план федеральной регистрации учреждения под названием Совет общего образования. Рокфеллер-старший обещал через сына выделить учреждению 1 000 000 долларов в течение предстоящих 10 лет на образование людей без различий пола, расы или вероисповедания.
Шепард оформил бессрочную лицензию, предоставлявшую совету право владеть неограниченным капиталом и участвовать в любой деятельности, которая может быть истолкована как образовательная, в любой части страны. Лишь один конгресс мог даровать такие широкие полномочия. Нельсон У. Олдрич, в то время наиболее влиятельная фигура в сенате, немедленно провел соответствующий законопроект через конгресс, и совет 12 января 1903 года официально прошел регистрацию. Так была создана организация, которая стала вскоре наиболее могущественным образовательным учреждением мира. Этой организации в следующее десятилетие Рокфеллер передал более 50 миллионов долларов, а перед смертью – 150 000 000 долларов.
Четверкой, чьи идеи определяли раннюю стадию деятельности Совета общего образования, были Болдуин, Баттрик, Гейтс и Джон Д. Рокфеллер-младший. Вряд ли можно переоценить влияние секретаря организации Уоллиса Баттрика. Это был прирожденный администратор, здравомыслящий, хорошо знающий человеческую природу, внушающий доверие. Отнюдь не ученый, но глубоко практичный человек. Абрахам Флекснер говорил: «Это был наиболее бескорыстный работник из всех, которых я знал. Однажды священник спросил его: «Доктор Баттрик, что вы думаете о Небесах?» Баттрик ответил: «Это мой офис!» Он дополнял своими качествами Гейтса, к великой пользе Совета. Оба деятеля глубоко уважали друг друга и работали в полном согласии. Дерзкий, провокационный Гейтс сформировал Совет, уравновешенный, терпимый и тактичный Баттрик обеспечил спайку коллектива».
После обследования поля деятельности совет решил употребить все средства на строительство и улучшение школ в некоторых южных графствах, которые послужат наглядным уроком для всего региона. Однако руководители проекта быстро смекнули, что одной частной филантропии будет недостаточно, что она убьет стремление к опоре на собственные силы. Наилучшим способом усовершенствовать образование на юге было привлечение самого юга к решению задачи улучшения качества преподавания. Поэтому Совет призвал университеты всех штатов юга ввести в свой профессорско-преподавательский состав преподавателей среднего образования, денежное содержание и расходы которых будет оплачивать совет. Такие преподаватели должны были тщательно обследовать свои штаты с целью обнаружения наилучших мест для учреждения новых качественных средних школ, объяснения фактического положения и привития духа сообщества, а также демонстрации того, каким образом можно собрать деньги на строительство и оборудование средних школ. В этом проекте воплотилось истинное вдохновение.