При посредничестве Ягайлы Витовт помирился со Свидригайлой и получил во владение свои прежние земли — Новгород-Северский, и Восточное Подолье, и еще Западное Подолье. Но и теперь Свидригайло был недоволен и нашел себе нового союзника — московского князя Василия. В 1408 году он в сопровождении свиты православных князей и бояр (в том числе и менского князя Урустая) отъехал в Москву. Василий щедро одарил Свидригайлу, дал ему Владимир, Переяславль, Юрьев Польский, Волок Ламский, Ржев и половину Коломенского княжества. Во время нашествия Едигея в 1409 году проявил трусость. Никоновская летопись и укоряет его за это. «А гордый князь Съшвидригайло съ храброю его Литвою нигде ни мало с иноплеменникы победишася». После того позора оставаться на Руси было невозможно. То, чего не сделал Витовт, сделал эмир Едигей — сломил силу Свидригайлы, и ему ничего не оставалось, как возвращаться в Литву на милость своего противника. «Тое же осени князь Съшвидригайло Олгердовичъ, внук Гедимановъ, егоже вси въязносяща глаголаху богатырьство и удальство и мужество велико въ победахъ, и отъ Едигеевыхъ Татар утомился зело, бегал, и своею храброю Литвою, а славный град Русский Володимерь, и Переславль, и Коломну, и иныхъ множество градовъ, и волостей, и селъ, и угодей, — и что много глаголати? — мало не половину всего княжениа Московского дрьжаль за собой, а победы на Агаряны не показал нигдеже, а едучи паки къ себе въ Литву, пограбилъ градъ Серпуховъ и опустошилъ, и отъиде во свояси со многимъ богатствомъ», — с укором и насмешкой пишет о «подвигах» Свидригайлы Никоновская летопись. Витовт заточил мятежного князя в Кременецком замке и бдительно стерег его там. Стало известно о новом договоре Свидригайлы с Орденом, заключенном 2 октября 1409 года. Вот Витовт благоразумно и дал ему посеять новую смуту в крае.
До 1418 года Свидригайло находился в неволе. Только он понадобился оппозиционным Витовту, князьям Федору Острожскому и Александру Пинскому. Они захватили Кременецкий замок и освободили Свидригайлу: Подолье поклялось Свидригайле в верности. Не имея возможности в открытую победить Свидригайлу, Витовт взял под стражу его жену, рязанскую княжну Анну, ибо боялся, что, «когда Свидригайло встретится со своей женой, то все Княжество Литовское покорится ему», — как доносил великому магистру рагнетский командор и, видимо, реально оценивал положение в стране. Неукротимость Свидригайлы прибавила ему приверженцев, особенно среди православных. Тем более у него был сильный союзник — рязанский князь. Но Свидригайло больше надеялся на иностранную помощь. Он поехал в Костанц, оттуда списался с Орденом и Сигизмундом I. Никто не захотел помогать князю-неудачнику. Свидригайло вновь помирился с Витовтом и получил от него Чернигов и Трубчевск.
До смерти великого князя Витовта в 1430 году Свидригайло тихо жил в своем уделе. То, что не удалось ему оружием, делал хитрой дипломатией. «Великой щедростью и пьянками он добыл себе симпатии богатых, особенно русинов, ибо, хотя был сам католиком, показал великое расположение к их вере», — писал о тактике Свидригайлы хронист Ян Длугош. Цель у князя была одна — объединить возле себя православных князей и бояр, и поэтому обещал им, что когда он станет великим князем, то будет содействовать их вере и по их совету будет править.
После смерти Витовта сторонники Свидригайлы заняли Вильно и Троки и объявили его великим князем. Перед их выбором не устоял Ягайло. Король, жалея брата, который был в «нищенском положении, бросаемый разными бурями», не спрося совета ни королевской, ни великокняжеской рады, признал Свидригайлу великим князем литовским.
Каким был по натуре Свидригайло, пишет Ян Длугош: «Он любил пьянствовать и забавляться, натуру имел великодушную, но изменчивую и порывистую, умом и способностями не отличался, не было в нем рассудительности и уважения, часто поддавался бешеному гневу, настроение менялось у него под дуновение ветра, ибо в нем вечно боролись разные и противоположные чувства». Длугош был прав: поступки и действия Свидригайлы свидетельствуют о его неуравновешенном характере. На это указывал и Збигнев Олесницкий: «Этот князь не прислушивается к разуму, ибо не отличается умом, но делает то, к чему тянут его слепые чувства». С такими качествами не только править, но удержать власть в стране тяжело.