Как ни странно, Ягайло и сам опасался «самовластия» князя Скиргайлы, который «был по натуре своей смел и свиреп, скор во всем — на язык, на руку и на дело, и всем внушал бы страх, если бы постоянное пьянство не низводило его до ничтожества и не вызывало презрения к нему, ибо в пьяном виде он бросался с оружием на многих людей, и преимущественно на тех, кто являлся его друзьями и близкими», — таким был этот князь, по утверждению Длугоша. Тем не менее, несмотря на буйный характер Скиргайлы, его поддерживали православные за верность православию, для них он был «чюдный князь... добрый». Видимо, Ягайло как раз и опасался утверждения деятельного брата на великом княжении с помощью «русских», которые смотрели на «верховного князя Литвы» как на изменника родины и их веры. В таком случае Скиргайло становился законным великим князем, а сам Ягайло терял наследственные права на Литву и в случае лишения польского трона оставался ни с чем. А на Витовта Ягайло смотрел как на своего наместника, хоть и с титулом «великий князь литовский».
Витовт не имел наследников, а вот Ягайло еще надеялся стать отцом сыновей, которые унаследуют власть на «дедичную» Литву. И никто лучше Витовта не смог бы защитить его наследство от посягательств внешних и внутренних врагов, сохранить его и приумножить. Витовт был просто посланцем судьбы для Ягайлы.
Поэтому понятно, что Ягайло не только ради «возвышения и славы своего отечества Литвы» поддерживал Витовта, а имел свой личный интерес, как родово-династический, так и политический. Ягайло мечтал передать Великое Княжество своему наследнику сильным, свободным и процветающим государством. А это не нравилось полякам, они упрекали короля, что он больше содействует Литве, чем Короне, посылает каждый год Витовту войска, раздает и продает немало королевского добра, награждая рыцарей, защищавших Литву.
Но вот беда, Ягайло долгое время не имел наследников. От первой жены Ядвиги у него родилась в 1399 году дочь Альжбета-Бонифация, которая умерла младенцем. После смерти самой Ядвиги, 17 июля 1399 года, Ягайло только новой унией с Великим Княжеством сохранил за собой королевскую корону. Теперь женитьба короля стала заботой его рады. И выбрали ему дочь графа Тилии Вильгельма Анну, с которой он обвенчался 29 января 1402 года. Она родила 8 апреля 1408 года дочь Ядвигу, а сына так и не было. В 1416 году Анна умерла, вновь оставив Ягайлу вдовцом. Желание иметь сыновей вынуждало Ягайлу искать новую жену. Его выбор — Альжбета, дочь сандомирского воеводы Оттона из Пильцы — не понравился ни панам, ни шляхте. Она была трижды замужем и имела пятерых детей, в том числе двух сыновей. Ягайлу не волновало, что по королевским меркам Альжбета ему не ровня, главное — она была матерью и могла родить ему долгожданного наследника. Поэтому он так упрямо и отстаивал свой брак с Альжбетой, несмотря на сопротивление королевских сановников. Ягайло даже припугнул их, заявив, что готов отказаться от короны. И когда в 1418 году на Краковском сейме паны и шляхта не желали дать согласие на коронацию Альжбеты, он решительно заявил: «Отпустите меня с женой в мое наследственное княжество, а мою дочь посадите на престол и выдайте ее замуж за кого хотите, чтобы имели короля». Такое впечатление, что король устал править в стране, где он был всего лишь атрибутом власти, от имени которого правили паны. Не зря однажды вырвалось у него: «Я вас уже просил, чтобы вы забрали свою корону и позволили мне вернуться в мою родную Литву». Конечно, этого ему не дали сделать.
Брак с Альжбетой был несчастливым. Наследника Ягайло не дождался. Так что ее смерть в 1420 году была как освобождение. Но Ягайлу вновь пытались связать «узами Гименея». Император Священной Римской империи Сигизмунд Люксембургский хотел выдать за Ягайлу свою дочь Елизавету или вдову чешского короля Вацлава Софию, за которую давал в приданое Шленск. Брак для Польского Королевства выгодный, а вот для Витовта он представлял угрозу, ибо он поддерживал восставших против империи чехов. Тогда он и решил повенчать одну из сестер своей жены княгинь Василису или Софию Гольшанских и Ягайлу. Видимо, именно он привез Ягайлу в Друцк, где они жили у своего дяди князя Семена Друцкого.