По мере того, как Эдуард рос, его занятия всё меньше и меньше казались подходящими для рыцаря, а уж наследника престола и подавно: гребля, плавание и даже подсобные работы, такие как рытьё рвов и стрижка изгородей, — все эти занятия, сами по себе безвредные, считались неподходящими для будущего короля. Королевские счета, например, показывают, что была произведена выплата Роберту, «его шуту», когда Эдуард нечаянно ушиб его во время забавы в воде в феврале, — безусловно, странное время года, чтобы плавать, и во всяком случае не то развлечение, от которого средневековые мужчины и женщины получали удовольствие. Ему явно больше нравилось общество крепких молодых работников, чем упитанных рыцарей двора. «Недооценивая общество магнатов, — писал летописец, — он якшался с фиглярами, певцами, актёрами, возчиками, землекопами, гребцами, моряками и другими, кто занимался физическим трудом». После страшного поражения, которое его армия потерпела от шотландцев на поле битвы при Баннокберне в 1314 г., один из слуг короля, Робер ле Мессаже, сплетничая с помощником судебного пристава в Ньюингтоне в Кенте, рассуждал, что вряд ли можно ожидать от Эдуарда победы в битвах, если он столько времени проводит «бездельничая или занимаясь рытьём окопов и другими неподходящими делами». «Если бы он столько времени уделял оружию, — замечал другой летописец, — сколько сельским занятиям, Англия могла бы процветать, а его имя звенело бы по всей земле».
Ещё более противоестественным и шокирующим было его всепоглощающее увлечение молодым сквайром при дворе его отца, Пьером Гавестоном, отец которого, беарнский рыцарь Арнольд де Гавестон приехал в Англию в 1296 г. и получил королевское покровительство. Пьер был красивый, остроумный, блестящий молодой человек, близкая дружба с которым освободила Эдуарда от ледяного одиночества в королевском доме и, возможно, придала ему некоторую уверенность в себе, которой у него не было. Но хотя Пьер и его отец первоначально были дружески приняты самим королём, их кровь считалась недостаточно благородной, чтобы он стал близким приятелем принца, тем более когда Эдуард и Гавестон демонстрировали свою близость перед двором. Эдуард, замечает сэр Томас Грей, «был слишком фамильярен с близкими друзьями, стеснялся незнакомых и слишком исключительно любил одну личность». «И когда королевский сын его увидал, он настолько в него влюбился, он вступил с ним в долгую связь, и захотел и решил связать себя нерушимыми узами привязанности с ним на виду у всех смертных».
Отношения между его наследником и молодым рыцарем озадачивали и беспокоили короля. Тесная дружба между мужчинами была признанной особенностью средневекового общества. Современник сравнивал дружбу Эдуарда и Гавестона с дружбой Давида и Ионафана, истинное оправдание мужской близости в Писании. Но такая близость, которая, как заявлялось в англо-норманнской поэме «Амис и Амиль», могла быть даже важнее верности к жене, основывалась на полной взаимности и исключала любой намёк на физическую близость. Если существовала физическая близость, в которой один партнёр был активен, а другой пассивен, это составляло противоестественный акт и явное нарушение законов морали. Каковы бы ни были подозрения современников, они едва ли решались высказать их, пока Эдуард был жив. И только после его смерти автор хроники из Мелсы мог категорически заявить, что Эдуард «безудержно предавался содомскому греху, и всю жизнь не было ему удачи и милости».
Каковы бы ни были подозрения Эдуарда I, он хотел избавиться от Гавестона, тем более что вёл переговоры о женитьбе сына на французской принцессе. Когда весной 1307 г. сын его, сильно осмелев, попросил отца даровать его другу графство Понтье, реакция короля была яростной. «Подлец, презренный мальчишка, как смеешь ты, который никогда ничего не завоевал, раздавать земли? Богом клянусь, если бы я не боялся расколоть королевство, тебя следовало бы лишить наследства». Он двинулся на сына, схватил его за голову, вырвал с корнем волосы. 26 февраля он издал указ об изгнании Гавестона из королевства и приказал сыну никогда больше не видеться со своим фаворитом. Через несколько месяцев, 7 июля 1307 г., несдержанный король-воитель умер в последнем походе против непокорных шотландцев.
Эдуард II тут же отменил указ своего отца, чем немедленно вернул своего любимчика Пьера де Гавестона, вызвав его обратно ко двору, сделав графом Корнуэльским (6 августа 1307 г.) и наделив обширными поместьями, среди них и землями, которыми владел министр его отца Уолтер Лэнгтон, епископ Ковентри, который однажды сделал Эдуарду резкий выговор за его непотребный образ жизни.