После смерти Сигизмунда Кейстутовича положение в Великом Княжестве Литовском вновь стало шатким и опасным, вновь появилась угроза гражданской войны. Сын Сигизмунда Михаил, который во время убийства отца находился на мессе в костеле в Троках, уцелел от расправы. Его сторонники удержали Трокский островной замок, Берестье, Лиду и Городно, отняли у виленского воеводы Довгерда Верхний замок в Вильно. Поэтому Михаил Сигизмундович по праву считал себя великим князем литовским и русским, о чем заявил в акте от 5 апреля 1440 года. Возможно, его и признали бы великим князем, если бы не Свидригайло, который претендовал на великокняжеский престол и пользовался мощной поддержкой бывших своих сподвижников: за него были Волынь, где он княжил, Виленское и Трокское воеводства, Полоцкая и Витебская земли. Но была и третья группировка, не заинтересованная ни в Михаиле, ни в Свидригайле. В эту группировку входили влиятельные паны: Радзивилл Остикович, Михаил Кезгайлр, Петр Монтигирдович, Ян Гаштольд, Николай Немирович, дядя Ягайловых сыновей, князь Юрий Гольшанский, Виленский епископ Матфей. Они понимали, что воскняжение любого из двух претендентов не приведет к добру. И Михаил, и Свидригайло начнут мстить своим неприятелям, да и между ними может вспыхнуть война. На съезде в Гольшанах эта группа решила пригласить на великое княжение младшего брата польского короля Владислава III Ягайловича — Казимира Андрея. В Кежмарк, где в это время находился Владислав, готовясь принять венгерскую корону, поехала делегация от гольшанской группировки во главе с Андреем Довойно и боярином Рачкой. Запугав Владислава угрозой от Михаила Сигизмундовича и Свидригайлы, они добились своего.
Владислав отпускал брата править в Великое Княжество, но отпускал как своего наместника — без титула великого князя. Правда, тринадцатилетний Казимир не горел желанием ехать в Литву. Его прельстили дремучими пущами, где водилось множество зверья. Охотничья страсть отца ожила в сердце его сына. Теперь он уже был не против жить на родине своих родителей. Отпуская Казимира Андрея в Литву, король и королевская рада учили его, как правильно себя вести. «Чтобы перед Богом справедливость лелеял, единство между Королевством Польским и Великим Княжеством Литовским и любовь взаимную держал и разрушительных войн без разрешения Владислава не вел, а всегда помнил благодеяния от Королевства Польского, старался о его добре, увеличении и славе». А чтобы Казимир Андрей был послушным и не поддался влиянию литвинов, с ним в Литву приехала свита в две тысячи польских панов и шляхты. Они зорко стерегли королевича, оберегая его от влияния литвинов. Согласия на коронацию его великим князем поляки не давали.
Тогда литвинские вельможи на пиру напоили поляков и, пока те спали, утром 29 июня 1440 года короновали Казимира великим князем. Владислав III не признал брата великим князем. Вновь в Краковском королевском дворце рождались интриги. Королевская рада во главе с Олесницким предлагала забрать Волынь и Берестейскую землю, а Подляшье отдать мазовецкому князю Болеславу, Троки оставить Михаилу Сигизмундовичу. И вот такое «урезанное» княжество передать Казимиру, «чтобы оно искало себе расширения в завоеваниях и в таком уменьшенном виде не выступило против Польши». К чести Владислава, он не поддался на уговоры советников.
Воскняжение юного Казимира чуть не привело к распаду Великого Княжества Литовского. Вначале взбунтовалась Жемайтия. Жемайты выгнали старосту литвина Кезгайлу и выбрали на его место жемайта Довмонта. К бунту их подбил Михаил Сигизмундович. Он остался без отцовского наследства, без власти, но с надеждой вернуть утраченное, а может, даже стать великим князем. Вот и разжигал пламя междоусобной войны.
Узнав о мятеже, Казимир хотел возглавить войско и повести его в Жемайтию. Ян Гаштольд, который стал воеводой трокским, начал отговаривать Казимира от войны с жемайтами и привел убедительные доводы: «Господаре княже Казимиру. Не годится тобе битися со своими подданными, бо если они тебе побиют, ино тебе господару нашому милостивому ссорам, а естли ты их побиеш, ино тебе неслава, своих подданных побитии войском. Але вчыни так: пошли твою милость им старосту подлуг их воли, Контовта, бо теперь в Жомойти Контовт племенник справует, а то их самих и того племенника своего намовит, абы земли своей не дали казить и против бы тебя, господара своего, не стояли. Бо коли ты, господар наш, з войском своим на них пойдеш, тогда землю их всю сказиш и их самих выплениш, а потом тоби, господару нашему, никоторого пожытку з них не будет». Казимир послушался Гаштольда и послал к жемайтам Коновта, который уговорил мятежников признать великого князя своим господарем. Юному Казимиру приходилось учиться правлению страной, а пока он только озвучивал решение своих советников, исполнял их волю.