Как сообщает хроника Быховца, Свидригайло получил в удельное владение города Витебск и Крево после смерти отца, где жил с матерью. В 1393 году Витовт решил присоединить Витебск к своим владениям и назначил туда своего наместника, сокольничего Федора Весну, любимца Ягайло. Но Свидригайло легко захватил Витебск и убил Весну, сбросив того с крепостной стены, и Витебское княжество перешло вновь под его власть. Тогда же на его сторону перешли Друцк и Орша. Ягайло не мог допустить потери своего родового владения и попросил великого князя отомстить за обиду. Витовт с большой охотой взялся за дело.
Князь Свидригайло. Гравюра из «Описания Европейской Сарматии», 1581 г.
Получив помощь из Польши, сначала двинулся на Друцк. Местные князья принесли Витовту клятву о вассальной покорности. За это он оставил за ними все прежние владения, но уже как пожалованные великим князем. Затем он заставил капитулировать Оршу после двухдневной осады, поставив в ней своего наместника, пополнил армию отрядами из Друцка и Орши и осадил Витебск, в котором находился Свидригайло. На помощь Витовту пришел Юрий Святославич Смоленский. Четыре недели длилась осада Нижнего замка в Витебске, пока ядра бомбард не разрушили его. Заняв его, начали готовиться к штурму Верхнего замка, но витебцы сдались, так как у них закончилось продовольствие. Витовт приказал снять крышу с Благовещенской церкви, поднять наверх орудия и продолжить оттуда обстрел Верхнего замка. Орденская хроника так повествует об осаде Витебска:
В конце концов Свидригайло был заключён под стражу и в кандалах отправлен в Краков, ко двору Ягайло. Тот помиловал своего мятежного брата и освободил из тюрьмы. Несколько лет Свидригайло проживал в почётном плену в Кракове. А в 1394 году уехал в Силезию, а оттуда в Венгрию, рассчитывая на помощь Сигизмунда Люксембургского, враждовавшего с Ягайло. Не получив таковой, Свидригайло направился в прусские владения тевтонских рыцарей, а потом и в Ливонию. Поход крестоносцев в поддержку князя Свидригайло был для них весьма неудачным и принес ощутимые потери. Князь Витовт смог не только дать отпор неприятелю и защитить столицу своего государства, но и пустился в погоню за крестоносцами.
В 1396 году князь Свидригайло с отрядом ливонских крестоносцев, пройдя через псковские земли, повторно захватил Витебск. Жители города, сохранившие симпатию к нему, открыли замковые ворота и признали своим князем. Витовт предпринял новый поход на Витебск. Горожане отчаянно оборонялись. После тридцатидневной осады был взят штурмом Нижний замок, затем Верхний. Многие сторонники Свидригайло были казнены, сам князь был отправлен в кандалах в Краков. Ягайло в очередной раз помиловал младшего брата…