Томас отличался мощным телосложением и коротко стриг щетинистые волосы. Гасконец окрестил его «боровом» и «простолюдином». Очевидно, в то время мускулистость и короткая стрижка служили признаками низкого происхождения. За острословие Гавестон поплатился жизнью. Ланкастер был организатором его казни.
После смерти своего ближайшего соратника Гая де Бошама, 10-го графа Уорика, Томас стал фактически вторым правителем Англии. В своих владениях он сменил большинство королевских чиновников и шерифов собственными ставленниками. Однако действовал Ланкастер нерешительно и медленно, постепенно утратив поддержку баронов. Падению его популярности поспособствовал также тайный договор с шотландцами, которые при набегах на север страны обходили стороной его поместья.
В мае 1318 г. Алиса де Лейси бежала со своим любовником, мелким сквайром на службе у Джона де Варенна, 8-го графа Суррея, давнего недруга Ланкастера. Изменница обратилась за покровительством к Суррею, и в результате между графами вспыхнула ссора. При этом Ланкастер обвинил в подстрекательстве к побегу жены самого короля и королеву Изабеллу.
В 1322 г. граф был объявлен мятежником. Не собрав достаточно сил, чтобы противостоять королевской армии, он хотел бежать в Шотландию, но 22 марта 1322 г. угодил в ловушку при Боробридже. Представшему перед королем в зале собственного замка графу было запрещено говорить что-либо в свою защиту, как когда-то Гавестону. В сильный снегопад в одежде кающегося грешника его заставили проехать через толпу, бросающую в него камнями и комьями снега. Неподалеку от Понтефракта его обезглавили, развернув лицом на север, как предателя. Впервые со времен Вильгельма Завоевателя английского дворянина казнили за измену!
Младший брат Томаса, учтивый и рассудительный Генри Кривая Шея (1281–1345), 3-й граф Ланкастер, проявил большую осторожность. Он не примкнул к оппозиции, но был разочарован, когда Эдуард II вместо того, чтобы вернуть ему конфискованные семейные владения, установил за ним строгий надзор. Получив-таки в 1324 г. графство Лестер, Генри через два года стал участником заговора Роджера Мортимера и Изабеллы. Он преследовал и захватил Эдуарда II в Южном Уэльсе и содержал его под стражей в другом своем замке Кенилворт (Уорикшир). Поначалу Кривая Шея соперничал с Мортимером за влияние на молодого Эдуарда III, но затем он полностью ослеп и даже не смог принять участие в свержении диктатора.
Его сын Генри Гросмонт (1310–1361) долгое время выполнял дипломатические поручения Эдуарда III и удостоился титула графа Дерби в 1337 г. Во время французских кампаний 1345–1347 гг. Гросмонт действовал в Аквитании, где одержал ряд побед. По возвращении домой в 1351 г. король пожаловал ему титул герцога Ланкастера (второй в истории Англии герцогский титул). В том же году Гросмонт отправился в Пруссию, где сражался с язычниками плечом к плечу с тевтонскими рыцарями. Незадолго до смерти он вновь побывал во Франции, приняв участие в осаде Реймса и подписании мирного договора в Бретиньи.
Как и большинство рыцарей той эпохи, Генри был хорошо образован и начитан. Он оставил после себя «Книгу божественных лекарств», посвященную богословским вопросам и содержащую исторические вставки. Его дочь Бланш (1345–1369) вышла замуж за младшего королевского сына Джона Гонта (1340–1399), унаследовавшего герцогский титул.
Гонт часто бывал в Понтефракте. Перестроенный им замок стал местом заточения Ричарда И. По одной из версий, король скончался здесь от истощения, по другой — был умерщвлен людьми Генриха IV. Второй версии придерживался и Шекспир:
«Невинная кровь» принадлежала Энтони Вудвиллу, 2-му графу Риверсу, лорду Ричарду Грею и сэру Томасу Вогану, казненным в Понтефракте 25 июня 1483 г. за участие в заговоре против Ричарда Ш.
В 1536 г. замок принял участие в «Благодатном паломничестве». В 1644 г. роялистский гарнизон Понтефракта выдержал по крайней мере три осады войск парламента, которые изрядно повредили замок. Окончательно он был приговорен к сносу в 1649 г. Среди развалин замка наиболее примечательным является норманнский донжон редкой лепестковой конструкции. Подобные ему сохранились лишь во Франции.