Мэйдзи не баловал сына вниманием; их взаимоотношения являлись скорее формальными, чем теплыми и родственными. Когда мальчик посещал отца, он кланялся низко-низко и получал в ответ кивок головой: Мэйдзи предпочитал не разговаривать с сыном. «Император Мэйдзи был немногословен», — отмечал придворный слуга. Большинство детей высшей японской аристократии оставались и вовсе без внимания отцов. Одна из дочерей Мэйдзи однажды рассказывала: «Хотите верьте, хотите нет, но я впервые увиделась с родным отцом только накануне собственной свадьбы. Он даже не узнал меня, спросив, кто я и откуда!»
Наследный принц и его высокородные сверстники свободное от школьных занятий время стреляли из лука, играли в футбол, устраивали поединки по кендо, катались на лодках по императорским прудам. Иногда за сыном наблюдал Мэйдзи, но всегда издали, без единого слова. Лето Ёсихито проводил на расположенной близ морского побережья вилле Хаяма. Наследник оказался заядлым рыбаком. Сын любил море, отец ненавидел его. Ёсихито передал любовь к морю своим сыновьям и внукам, некоторые из которых профессионально изучали морскую биологию.
Товарищами Ёсихито по играм стали потомки аристократических семейств кланов Ивакури и Сайго. Они находились с ним 24 часа в сутки. Воспитатели не выделяли Ёсихито из их среды, равно как и сами высокородные наследники не выказывали ему особого почтения. Все спали в одном помещении. По ночам, когда становилось холодно, они воровали у Ёсихито теплое одеяло. В темной купальне дети рассказывали друг другу ужасные истории. Бывало, не желая пускать Ёсихито в какую-нибудь из игровых комнат, они вешали на дверь большую редиску дайкон. Наследный принц терпеть не мог даже вида этого овоща и потому не переступал порог.
Майор Татибана, один из наставников Ёсихито, обучал детей спортивным дисциплинам и умению владеть мечом. Он закреплял свинцовые набалдашники на тренировочные мечи и бамбуковые палки, так что у учеников искры сыпались из глаз, когда он доставал до них. Ёсихито усиленно тренировался в плавании. В красных набедренных повязках Ёсихито со товарищи греб на лодке от берега, и майор выталкивал всю шумную братию за борт. Так повторялось снова и снова, пока наследный принц не научился самостоятельно проплывать несколько метров. Купание проводилось все лето дважды в день. Мальчики просто молились на майора, считая его «настоящим полубогом». Из вышеизложенного явственно следует: Ёсихито рос не таким уж слабаком, каким его позже выставляли. Будь это правдой, единственного наследника императора ни в коем случае не подвергали бы подобного рода испытаниям.
Ёсихито интересовался жизнью, происходящей за стенами виллы в Хаяме, подальше от гофмейстеров и своих вечных спутников. Он убегал от них и бродил в одиночку, доходя до старого дома помещика Уэмацу. Заходил в гости, хозяева всегда радовались ему и угощали чаем с печеньем…
Ёсихито ненавидел Токио и покидал его при первой же возможности. В 1902 г., когда ему было двадцать три года, получившая образование в США Цуда Умэ, преподавательница из общины квакеров, повстречалась с наследным принцем на побережье и отметила: «Он любезно поклонился нам и был очень учтив. Просто одетый, с небольшой свитой, он прогуливался по побережью… говорил с деревенскими жителями, очевидно, его все здесь очень любят». Ёсихито останавливался понаблюдать за рыбаками, часто покупая весь их улов лещей. Доктор Бёльц отмечал в своем дневнике: «Меня вызвали к наследному принцу… в течение двух последних недель он много потерял в весе. По результатам начального обследования можно предполагать латентную стадию туберкулеза. Лицо осунувшееся, мышцы груди и спины в тонусе, как у борца… Вследствие перенесенного в детстве менингита наследный принц болезненно беспокоен и страдает недостатком внимания. Эти расстройства в настоящее время выражаются в форме одержимости путешествиями. Более того, он невзлюбил Токио». Доктор Бёльц понимал, что проблема, имея медицинские корни, переходит в политическую плоскость.
В 1906 г., после победы Японии в русско-японской войне, Ёсихито переехал в новую резиденцию — перестроенный в стиле рококо дворец Акасака. Огромное двухэтажное здание из розового мрамора выглядело как «…дитя союза… Версаля и Букингемского дворца». Комнаты обставили мебелью в стиле Людовика XV. Мэйдзи называл апартаменты сына «французским дворцом». По сути, Ёсихито лишь следовал традиции покойного Окубо, предпочитавшего «равняться» на Францию в быту и на Германию в войне.