В эти дни Джаспер довольно часто встречался с герцогом Ричардом Йорком, и их связывало даже что-то похожее на дружбу. Но вскоре они оказались по разные стороны в политическом противостоянии, когда герцог возжелал большего, чем роль протектора в королевстве при нездоровом монархе. Как ни прискорбно об этом говорить, но Генрих Ланкастер унаследовал от своего деда, короля Франции Карла Безумного не только право на трон, но и душевное нездоровье, что очень ему вредило впоследствии. Во всяком случае, в первом же открытом сражении этого накалившегося до предела противостояния, растянувшегося впоследствии на тридцать лет, в битве при Сент-Олбансе, Джаспер Тюдор и Ричард Йорк были во враждующих лагерях. Джаспер к тому времени был уже ближайшим советником Генриха и пользовался его полным доверием и непререкаемым авторитетом. И все последующие годы он прочно стоял на позициях Ланкастеров, какие бы беды это ему не сулило.
А бед на его голову свалилось немало. Битвы этой затяжной, непрекращающейся войны, начатой в Сент-Олбансе, продолжались с постоянством, заслуживающим лучшего применения. Уже погибли и Эдмунд Бофор, и Хамфри Стаффорд, с которым Джаспера связывали добрые отношения, и сам герцог Ричард Йорк, вместе со вторым сыном, графом Ратлендом. Но его старший сын Эдуард, граф Марч, подхватил выпавшее из рук отца знамя и продолжил борьбу за корону, причём воевал весьма успешно. Джасперу самому довелось встретиться с ним в битве при Мортимерс-Кроссе. Тогда младший Йорк показал свою хватку, и силы, идущие из Уэльса на подмогу королеве Маргарите Анжуйской, заменившей на посту главнокомандующего своего недееспособного супруга, были наголову разбиты. Ему самому удалось избежать плена и снова укрыться в Уэльсе, но многие, слишком многие его сподвижники попали в руки Эдуарда и были казнены, в том числе и его отец, Оуэн Тюдор. А потом была битва при Таутоне. Этот по-зимнему холодный и вьюжный мартовский день стал свидетелем полного разгрома Ланкастеров. Эдуард Йорк, граф Марч, стал королём Англии Эдуардом IV, а верный сторонник Ланкастеров Джаспер Тюдор вмиг потерял всё, что имел. Его лишили всех владений и должностей, а также очень почётного членства в Ордене Подвязки. И что самое обидное, все его владения перешли к давнему заклятому врагу, Уильяму Герберту, ставшему вместо него юстициарием Уэльса. После чего долгих девять лет пришлось провести в изгнании.
Генрих был уже не так и мал, четыре года исполнилось ему, когда Уильям Герберт захватил замок Пембрук. Мальчика разлучили и с матерью, не только с дядей, бывшим его опекуном. Он попал теперь под власть самого лорда Герберта и его жены, леди Анны Девере. Это были нелёгкие холодные годы, когда он научился таить свои мысли от окружающих и никому не верить.
А Джаспер Тюдор не прекращал своих попыток восстановить власть Ланкастеров в Англии. Французский король Людовик ХI поддерживал его в этом намерении и даже помог спустя пять лет вторгнуться в Уэльс. Уже радовали первые успехи, удалось захватить замок Денби, когда злокознённый Уильям Герберт с большой армией двинулся на него и выбил из захваченной цитадели. Пришлось снова уносить ноги подальше, на континент.
Потом, правда, пришли новости утешительные. Ричард Невилл, могущественный граф Уорвик, посадивший на трон Эдуарда, напрочь с ним разругался и переметнулся к Ланкастерам. Ему показалось большим неуважением со стороны воспитанника, что он молча, ни слова не сказав своему ближайшему сподвижнику и учителю, женился на женщине, совершенно не подходящей на роль королевы – незнатного рода, вдова ланкастерца, да ещё с двумя детьми в придачу. И это в то время, когда сам граф Уорвик вёл переговоры о браке молодого короля с французской принцессой – полное пренебрежение к тому, кто посадил его на трон. И потом Эдуард сильно ущемил права исконной английской знати, наводнив двор многочисленными представителями семейства Вудвиллов и дав им слишком много воли. Стерпеть это граф Уорвик не смог и подался к Ланкастерам, как бы ни было ему противно поклониться ненавистной Маргарите Анжуйской.
В битве при Эджкоут Муре граф разбил королевскую армию. Он восстановил на троне Генриха VI Ланкастера, а Эдуард вынужден был бежать из страны, оставив любимую женщину и трёх дочерей на попечении монахов в Вестминстерском аббатстве в надежде, что благородный Генрих не нарушит их права на защиту церкви. Ненавистный Уильям Герберт, захвативший и титул, и замок, и все права Джаспера, был казнён. Сам Джаспер, получивший почётное место при дворе короля Ланкастера, с огромным удовлетворением вернул себе свои земли, титул и замок. Но, как оказалось, ненадолго.