После умирения удельных смутьянов, разгрома новгородской оппозиции настало время навести порядок в Кремле. Великий князь решил расправиться с наиболее влиятельными сторонниками Деспины, и пусть не сразу, а постепенно задуманное воплотил. Около 1483 года Иван III повелел распустить дворы братьев Тучко-Морозовых, еще одного Морозова — Михаила Яковлевича Русалки и других старомосковских родов. В 1485 году братья Тучко-Морозовы были «поиманы». Клан Морозовых потерпел сокрушительное поражение. Следующее поколение рода начало свою думскую карьеру не с боярства, а с чина окольничих.
А. А. Зимин полагает, что опала Морозовых связана с укреплением позиций Ивана Молодого и ухудшением положения при великокняжеском дворе Софьи. Несомненно, отношение великого князя к Деспине переменилось к худшему. А вот невестка Елена Стефановна, или Елена Волошанка, явно пришлась по душе государю. Трудно судить, испытывал ли Иван Васильевич «комплекс» перед честолюбивой, энергичной и образованной Софьей Палеолог.
Но вот в его семью вошла женщина, как и Деспина, столь непохожая на московских боярынь — умная, развитая, общительная. Вокруг нее собрался кружок московских интеллектуалов, да и сама Елена обладала несомненным талантом. Выполненная ею пелена считается замечательным памятником древнерусского художественного шитья и одной из первых светских картин Московской Руси. К невестке Иван Васильевич имел право относиться покровительственно, чего он, разумеется, не мог позволить по отношению к суровой нравом супруге и что должно было льстить самолюбию государя.
Со всей очевидностью симпатии и антипатии великого князя проявились в 1483 году после того, как у Елены Волошанки и Ивана Молодого родился сын Димитрий. В свое время Софье было разрешено носить украшения первой жены великого князя Марии Тверской — «саженья» с каменьями и жемчугом. Теперь великий князь потребовал от Деспины вернуть драгоценности, дабы передать их невестке. Софья, безусловно, по достоинству оценила издевательский подтекст и символическое значение этой передачи. Три года спустя послем рождения сына Василия великий князь демонстративно выразил предпочтение появившемуся на свет внуку и его матери.
Унижением эпизод с драгоценностями не ограничился. Выяснилось, что отдавать Софье Фоминичне нечего, «понеже бо много истеряла». Великокняжеские «саженья» Деспина передала своей племяннице Марии Палеолог, бывшей замужем за князем Василием Верейским. Итальянский банкир, способствовавший передаче, был арестован, Мария и Василий Верейские бежали в Литву.
Похоже, что Софья и ее приближенные пострадали не от спонтанно возникшего пожелания Ивана Васильевича, а стали жертвами хитроумной интриги, воскрешающей в памяти хрестоматийную историю с алмазными подвесками из «Трех мушкетеров». Недруги великой княгини, узнав о том, что Софья своевольно распорядилась драгоценностями, надоумили государя потребовать их у жены, прекрасно представляя возможные последствия. А у Деспины не оказалось в распоряжении верных мушкетеров, чтобы избежать неприятностей.
По мнению Л. В. Черепнина, эпизод с саженьями отразил реальное взаимоотношение политических сил в Москве: намечался блок с Литвой Твери и московских удельных князей, и эти оппозиционные элементы завязали какие-то отношения с Софьей Палеолог. Недаром после побега Василия Михайловича Верейского Иван велел арестовать каких-то иноземцев, возможно, близких к Софье Палеолог. Передача «сажений» Марии Тверской Елене Волошанке кроме прочего означало признание прав Ивана Молодого на тверское княжение. Эти замыслы вызвали протест Софьи Палеолог, которой ничего не оставалось сделать, как перейти в оппозицию к венценосному супругу: закрепление за линией Ивана Молодого великого княжения лишало соответствующих прав ее сына Василия.
Вскрывшийся проступок дискредитировал Софью и нанес серьезный удар по ее окружению, и прежде всего Морозовым, которые и после инцидента с «саженьями» продолжали держаться Софьи. Одновременно укрепилась дворцовая партия, группировавшаяся около наследника престола — сначала Ивана Молодого, а после его смерти его сына Дмитрия. К этой партии помимо Елены А. А. Зимин причислял Елену Волошанку, дьяка Посольского приказа Федора Курицына, потомков выезжан князей Ряполовского и Патрикеева.
Подобное деление великокняжеского окружения на враждующие партии резко оспаривал Ю. Г. Алексеев, полагавший, что гипотеза о связи Патрикеевых с «партией» Елены Стефановны недоказуема, а «попытка связать все известные нам события в один жесткий контур не может быть успешной». «Существовал ли этот кружок и кто туда входил? Какие цели преследовал? Почему Курицын и Патрикеевы называются сторонниками Димитрия-внука?» — вопрошает исследователь.