Обманными обещаниями решить конфликт мирно Ягайло заманил Кейстута и Витовта в Вильно, а потом бросил их в подземелье Кревского замка. Кейстут был задушен. Сам Ягайло отказывался от своей причастности к смерти Кейстута и говорил, что тот покончил жизнь самоубийством. Вероятно, на убийство Кейстута его подтолкнули мать и Скиргайло, претендовавший на Троки. Вслед за этим Ягайло расправился с женой Кейстута Бирутой, которую утопили в реке, и двумя ее родственниками. Очередь была за Витовтом. Но Ягайло не решался. Он даже посетил двоюродного брата и позволил приходить в камеру его жене Анне. Именно с ее помощью Витовт, переодевшись в женскую одежду, убежал из неволи в Пруссию к крестоносцам. Когда великий магистр Конрад Цолльнер попросил Ягайлу простить Витовта, тот пренебрежительно ответил: «Это значило б согревать змею на своей груди».
Ягайло был зол на Орден и не преминул упрекнуть магистра за поддержку Витовта и мазовецкого князя Януша: «...но кажется удивительным и недостойным, что вы помогаете нашим врагам и неприятелям, в то время как мы обещали не только не мешать ни в чем один одному, но один одному помогать против всякого врага. Также просим вас, чтобы вы не старались перетянуть к себе жемайтов, ибо они поддались нам и любезному нашему брату Скиргайло; и без этого уже имеем мы много неприятностей от наших людей и от литвинов».
Ягайле было в чем упрекать Орден. Он не только принял его врага Витовта, но и дал деньги мазовецкому князю Янушу, который захватил Дрогичин, Сурож, Мельник. Хоть Ягайло в начале 1383 года совершил поход в Подляшье и вернул захваченные города (горожане сами их сдали ему), но он не чувствовал себя спокойно. Сторонники Витовта в самой Литве и Жемайтии беспокоили его. Коварство и обман по отношению к дяде и двоюродному брату принесли ему дурную славу вероломного правителя. Даже крестоносцы отвернулись от него. Ягайло не приехал на встречу с великим магистром Конрадом Цолльнером и не подтвердил свои обязательства перед Орденом, считая их необязательными для себя. Поэтому Орден 30 июня 1383 года объявил Ягайле войну. «Такая твоя дружба, которую ты предлагал нам взамен за наши услуги, но мы не можем уже дальше терпеть твое высокомерие и твою несправедливость. Знай же, Ягайло, ты и твои братья, что, не находя в тебе ни веры, ни верности, мы отказываем тебе в нашей дружбе и с тех времен, как убедились в твоем криводушии, никогда уже не будем с тобой в мире», — написал великий магистр.
Ягайло мог с сожалением понять, что сам стал инструментом в руках крестоносцев, устранил их злейшего врага Кейстута, предоставил им грабить Трокское княжество, выдал на расправу Жемайтию, а сейчас Орден разожжет огонь междоусобной войны между ним и Витовтом и вновь будет требовать от него уступок за мир. Вместо укрепления своей власти он добился ненадежного положения в стране, что даже в Вильно чувствовал себя в опасности. Пугала его и будущая война с Орденом. Поэтому Ягайло переехал с матерью в Витебск, подальше от опасного врага — крестоносцев, а оборону Литвы поручил Скиргайле.
Орден поддержал Витовта. Осенью 1383 года началась война. Крестоносцы совершили поход на Вильно, но не захватили столицу. Только теперь Ягайло понял, насколько опасен для него Витовт, ибо свои завоевательские планы крестоносцы выдавали за помощь законному наследнику Трокского княжества, желавшему вернуть отцовское наследство. Политическая мудрость подсказывала Ягайле забыть бывшую вражду и помириться с братом. Через тайных послов в 1384 году он предложил Витовту мир и обещал вернуть Трокское княжество. Витовт принял предложение. Ягайло вернул ему Трокское княжество, но сами Троки оставил Скиргайле, зато в придачу отдал Луцкое княжество. Вместе с Витовтом Ягайло взял и разрушил сильнейшую орденскую крепость Мариенвердер, построенную возле Ковно.
С этого времени судьба поведет Ягайлу от победы до победы к величию. В 1384 году к Ягайле в Крево приехали из Кракова польские паны. Поляки предложили ему посвататься к польской королеве Ядвиге и стать польским королем. В это время Польша переживала нелегкие времена. Последний польский король из династии Пястов Казимир, прозванный Великим, умер в 1370 году, не оставив сыновей. Польский трон занял его преемник венгерский король Людовик. Наследницей Людовика была его старшая дочь Мария, жена чешского короля и бранденбургского маркграфа Сигизмунда. Поляки боялись утверждения на их троне германской династии, поэтому просили жену покойного Людовика, королеву Елизавету, отпустить в Польшу свою младшую дочь Ядвигу. Ее провозгласили королевой. Но так как Ядвига была обручена с австрийским герцогом Вильгельмом, то Польша в случае ее замужества с ним получила бы короля-немца и в конце концов была б «втелена» в Священную Римскую империю, а это означало политическую смерть страны.