До поры до времени противники Казимира в Литве смирились с его правлением. Но в 1480 году против него возник заговор православных князей. Возглавили его князья Михаил Олелькович, Иван Гольшанский и Федор Бельский. Заговорщики хотели возвести на великокняжеский посад Михаила Олельковича. Но Софийская летопись иначе объясняет цель заговора: «Восхотеша вотчины — Ольшанский да Оленкович, да князь Федор Бельский по Березыню реку отсести на великого князя Литовской земли, един же их обговорил». Надо согласиться с российским историком Михаилом Кромом, что события, связанные с заговором, «явно увиденные из Москвы». Оторвать от Литвы такую громадную территорию (не менее 500—600 км) заговорщикам было не по силам, тем более, что эту территорию они не контролировали. Думается, что в этом вопросе был осведомлен сын Трокского воеводы Мартина Гаштольда — Альбрехт. От отца, который участвовал в суде над заговорщиками, он знал их цели. В письме к королеве Боне Альбрехт писал, что два предка князя слуцкого были обезглавлены, ибо они составили заговор с целью убийства великого князя, «желая, чтобы по уговору только один занял Великое Княжество».
Для исполнения своего замысла князья собирались воспользоваться свадьбой Александра Чарторыйского с дочерью Федора Бельского в Кобрине. На свадьбу был приглашен и Казимир, где его и хотели убить. Правдоподобно, что Олелькович искал поддержки Ивана III, ибо есть известия о его тайных связях с московским князем.
Заговор Олельковича совпал с событиями, повлиявшими на развитие истории в Восточной Европе. В Новгороде при поддержке Великого Княжества готовилось восстание против власти Ивана III. Казимир заключил союз с ханом Большой Орды Ахматом. Ахмат выступил в поход и остановился возле Воротынска, ожидая выступления Казимира. Но тот так и не пришел с войском. В это время Казимир раскрыл заговор.
По одним данным, заговорщиков выдал киевский наместник Иван Ходкевич, по другим — брат Федора Бельского Семен, а по третьим — Казимиров слуга Ян Штендель. Он осматривал Кобринский замок и нашел тайный склад с оружием. Когда Казимир приехал в Кобрин, то Штендель сообщил ему о подозрительной находке. Казимир, почуяв опасность, не пришел на свадебный пир, сославшись на недомогание. Сразу же было произведено следствие. Слуги Бельского под пытками выдали своего господина. Князь спасся бегством из замка и отправился в Москву. Олельковича и Гольшанского схватили и заточили в тюрьму. В то же время на Подолье напали крымские татары.
Опасаясь выступления против себя православных феодалов, Казимир не пошел ни на Подолье, ни на помощь Ахмату. Ахмат, не дождавшись Казимира, заключил мир с Иваном III, удовлетворившись данью, и ушел с Руси. А Иван нашел союзника и против Ахмата и Казимира — крымского хана Менгли-Гирея и теперь слал ему письма с предложением напасть на Великое Княжество Литовское. Суд вынес заговорщикам смертный приговор, и 30 августа 1481 года их казнили.
Напуганные такой суровой расправой, православные князья Иван и Дмитрий Воротынские, Иван Перемышльский, Андрей и Василий Бельские, Иван Глинский сбежали в Москву. Это обострило и без того напряженные отношения между Великим Княжеством Литовским и Московией.
Казимир в 1480—1483 годах постоянно живет в Литве. В конце 1481 года он отправляет в Москву посольство с требованием передачи Великому Княжеству Новгорода и Великих Лук. Естественно, Иван III ответил отказом. Попытался Казимир договориться с Менгли-Гиреем, но тот не разорвал союза с Москвой. По наущению Ивана III хан 1 сентября 1482 года захватил Киев, разграбил его, а жителей вместе с киевским наместником Иваном Ходкевичем отправил в неволю. Хоть и было собрано 40-тысячное войско, но Казимир не решился на поход в Крым. Он приниженно клянчил у Менгли-Гирея мира, простя ему и разграбление Киева. «Было тому городу гореть, и тым людем погибнуть коли на них Божий гнев пришел. А за Божье ласки у нас есть городов и волостей и людей досыть». Поражает своим цинизмом подобный ответ правителя.
Собранные под скипетром Ягеллонов чешское и польское королевства, а также Великое Княжество Литовское и Русское, Молдавское княжество (в 1485 году, 15 сентября, молдавский господарь Стефан признал себя вассалом Казимира) пугали соседей своей объединенной мощью. Императорский канцлер Каспар Схлиск определил объединение Чехии и Польши под властью Ягеллонов как великое несчастье для немецких земель, «от которого пусть господь Бог убережет». Ясно, что соседи не дремали и активно искали средства против могущества Ягеллонов.