Весной 1849 года тринадцатилетний Джей, решив, что научился всему, чему его могли научить в Бичвуде, обратился к отцу с просьбой отправить его в частную академию, которой руководил мистер Хэнфорд в Хобарте, в девяти милях от фермы Гулдов и их рабочих мест. Поначалу Джон Гулд отказался от этой просьбы, но в конце концов передумал, когда стало ясно, что Джею не откажут. «Ладно, — сказал отец после нескольких недель постоянных уговоров и споров, — не знаю, но ты можешь ехать, потому что из тебя точно никогда не получится фермер».[63]
В Хобарте Джей был в возрасте до 18 лет.[64] В Хобарте Джей поселился у кузнеца, для которого вел бухгалтерию, а днем посещал академию. Однако это продолжалось всего пять месяцев: Джей совершал долгую прогулку домой каждые выходные, чтобы навестить сестер и брата и проверить, все ли в порядке. Осенью следующего года он вернулся домой, так как в Бичвуде появился новый энергичный учитель, только что окончивший государственную нормальную школу в Олбани.Джон Берроуз вспоминал, что именно под руководством Джеймса Оливера (которого он называл «превосходным человеком») он и несколько других мальчиков из Роксбери получили «настоящий старт».[65]
Гулд, в свою очередь, писал о восхищении Оливером и его «возвышенном характере».[66] Гулд, в свою очередь, с восхищением писал о высоких помыслах и «возвышенном характере» Оливера. В 1893 году, будучи уже пожилым пенсионером, джентльмен, чьи выдающиеся бывшие ученики по-прежнему называли его «мистер Оливер», вспоминал четырнадцатилетнего Джея как «сознательного» ученика. «Он не был мальчиком, который любит много играть. Он никогда не был грубым и шумным, не кричал, не прыгал и все в таком духе». Но он также не был, как уже начали предполагать некоторые биографы, стукачом или «коричневым носом». «Его умственные и моральные качества были таковы, что он не смог бы обратиться к учителю с жалобой на школьного товарища. Его уверенность в себе и самоуважение восстали бы против такого поступка». Оливер, как и Сара, отмечал независимость Джея и его склонность отказываться от помощи. «Если его отправляли к доске решать задачу, он оставался там всю лекцию, а не просил решения».[67]9 апреля 1850 года Оливер поручил своим старшим ученикам написать сочинение на тему «Честность — лучшая политика». Гулд сделал все, как ему было велено, создав документ, который позже не один газетный передовик бросит ему в лицо.