Польские сенаторы сразу потребовали от Казимира присоединения к Польше Волыни. И он, не разжигая страсти поляков, обещал им Волынь, но не спешил исполнять свое обещание. А когда ему напомнили о присоединении Волыни, ответил, что для этого нужно согласие литвинов и он не может «во вред Великого Княжества подтвердить права Королевства Польского». Возмущенная шляхта пригрозила королю: «Отказываемся от всякого послушания, пока права и свободы Королевства Польского письменно не подтвердишь». Казимир уехал в Литву, где прожил с осени 1447 по май 1448 года, охотясь по пущам. И только его мать София Гольшанская уговорила Казимира вернуться в Польшу. На Люблинском сейме поляки начали требовать от Казимира присоединения уже всего Великого Княжества к Польше. Но встретили упорное сопротивление литвинских послов, которые настаивали вычеркнуть из акта Городельской унии артикул «О вечном соединении Литвы с Польшею». «Пускай два государства соединятся в особе одного правителя, и то, если не будут нарушены наши интересы», — заявили литвины. Поляки, наоборот, предлагали войти Литве в состав Польского Королевства на тех же условиях, что и другие польские земли, и тогда кончатся бесплодные споры между поляками и литвинами. Но послы заявили, что они не согласны на такие условия, ибо это позор — отмена титула великого князя литовского, русского и жемайтского. В свою очередь литвины требовали возвращения ВКЛ Владимира, Олесно, Ратно и Западного Подолья. Поняв, что ничего не добьются, поляки обещаниями успокоили литвинских послов. А когда те уехали из Люблина, взялись за Казимира. На этот раз они постарались не выпустить Казимира и повезли его в Краков. Чуть вырвался он в Литву. Не нравились молодому королю наглые домогания поляков. Поэтому на съезде в Новогородке Казимир с послами от земель ВКЛ постановил ни в коем случае не идти на унию с Польшей. Съезд прервала весть, что Михаил Сигизмундович поднял мятеж. Он нашел себе союзника — хана Большой Орды Сеид-Ахмета.
Во главе татарских загонов Михаил Сигизмундович захватил Киев, Стародуб, Новгород-Северский, Путивль, Брянск, Радогощ. Но до гражданской войны не дошло. Михаил Сигизмундович испугался посланного на него войска и сбежал в Москву.
Отношение Казимира к своему троюродному брату, которому он отказал в отцовском наследстве — Троках, вызвало у многих неприятие. Епископ Збигнев Олесницкий, который поддерживал Михаила, укорял Казимира за невыполнение договора Ягайлы с Сигизмундом Кейстутовичем и требовал возвращения Михаилу его прав. «Вынуждает нас к этому не только Божие и прирожденные права, но и отца твоего присяга, которой он вместе с нами на глазах моих, поклялся твердо исполнять условия договора, заключенного с Сигизмунд ом». Казимиру надоело, что его как ребенка учат и поучают, наставляют, что и как он должен делать. Он стал проявлять непослушание, даже твердость. Вот и ответил епископу резко: «Не надеялся никогда их твоих уст услышать подобные слова. Не вынудишь меня, чтобы я сделал то, о чем напоминаешь. Упадет еще не одна голова, пока князь Михаил будет возвращать свое отчины». Но и польские вельможи проявили твердость и решительно напомнили Казимиру: «На то королем избран, чтобы не только права королевства стерег, но во всем старался их расширить». И стали требовать включения в состав Польши Западного Подолья и Волыни. Казимир предложил рассмотреть спорные с Литвой вопросы на следующем сейме, а чтобы задобрить поляков, признался, что «содействовал Польше, а не Литовскому Княжеству, но мне нужно быть осторожным, чтобы Литва не вышла из послушания».
Боязнь нового выступления Михаила Сигизмундовича вынудила Казимира пойти на уступки Москве. По договору с московским князем Василием Васильевичем, заключенному 31 августа 1449 года, Казимир отказался от претензий на Новгород и Псков, признавая московского митрополита Иона главой православной церкви в Великом Княжестве Литовском. Московский князь в свою очередь отказался от титула «великий князь всея Руси», признавал вассальную зависимость Тверского княжества от Великого Княжества Литовского и обещал «не вступатися» во владения Казимира: «ни в Смоленск, ни в Любутеск, ни в Мценск, ни во вси... украиные места». Обещал не поддерживать Михаила Сигизмундовича, а Казимир — Дмитрия Шемяку. Договор развязал Василию руки, он со временем установит власть над Северной Русью, что в конце концов приведет к трагическим последствиям для Великого Княжества Литовского. А пока судьба вновь благоприятствовала Казимиру.
Конфликт с Михаилом Сигизмундовичем неожиданно разрешился в 1452 году, когда этот мятежный князь умер в Москве. Подозревали, что его отравил какой-то игумен, дав ему причастие с ядом. Казимир искренне оплакал брата и раскаялся, что так коварно обошелся с ним. Видно, политические пристрастия не уничтожили в нем человеческих чувств.