Дорого заплатил Витовт за корону великого князя. В боях за Вильно погиб его брат Товтивил. Другой брат — Жигимонт — был закован крестоносцами в кандалы и брошен в подземелье. А сыновей Витовта отравил рыцарь Андрей Саненберг, называвший себя другом князя. Он приехал из замка Юборга в Кролевец (так поляки и литвины называли город Кенигсберг), чтобы выкрасть княжичей, но был разоблачен. И тогда, якобы с целью предотвратить возвращение Юрия и Ивана в язычество и спасти их души, коварный рыцарь дал им выпить чашу с ядом. Сами крестоносцы, отрекаясь от этого позорного преступления, оправдывались, что сыновей Витовта погубила его измена.
В то же время начались выступления удельных князей против Витовта. Братья Ягайло не признали его великим князем и вступили с ним в борьбу. Однако, став великим князем, Витовт быстро сломал сопротивление недовольных, творя себе «пановане самовладное», как сказано в летописи.
Первым с Витовтом схлестнулся Корибут, владевший в то время Новогородком. Возле местечка Докудова (теперь село в Лидском районе на правом берегу реки Неман) Витовт разбил его войско. Корибут укрылся в Новогородке. После недолгой осады войска великого князя взяли замок штурмом. Корибут с семьей был отвезен под стражей в Вильно.
Следующим, с кем пришлось воевать, стал младший из Ольгердовичей — князь Свидригайло. Ему не досталось никакого удела, и он жил с матерью в Витебске. После ее смерти Свидригайло решил сам добыть себе удел. С отрядом ливонских крестоносцев и своих приверженцев он захватил Витебск и расправился с наместником Ягайло (сбросив того с крепостной стены). Витебское княжество перешло под власть Свидригайло. Ягайло не мог допустить потерю своего родового владения и просил Витовта отомстить за обиду. Витовт с радостью взялся за дело, чтобы расправиться еще с одним Ольгердовичем.
Четыре недели длилась осада Нижнего замка в Витебске, пока ядра бомбард не разрушили его. Когда замок пал, Витовт приказал снять крышу с Благовещенской церкви, поднять наверх орудия и продолжить оттуда обстрел Верхнего замка. Свидригайло сдался и был выслан в Краков под надзор своего венценосного брата.
С тех пор Свидригайло стал непримиримым врагом Витовта и все время его правления плел интриги, поднимал восстания, воевал вместе с крестоносцами против него. Честолюбивый и энергичный, Свидригайло уступал великому князю в стойкости духа, политическом и государственном мышлении. По натуре своей Свидригайло был воином и разрушителем, а Витовт — правителем и строителем государства. Вот почему все попытки овладеть великокняжеским престолом оканчивались для Свидригайло поражениями.
Иной путь борьбы с Витовтом выбрал Скиргайло. Он подталкивал феодалов к мятежу против Витовта. Ссоры между двумя князьями дошли до того, что вот-вот могла вспыхнуть междоусобная война. Ягайло вынужден был вмешаться и помирить их. Чтобы успокоить Скиргайло, он передал ему города Каменец-Подольский, Стародуб и Старые Троки.