Иоанн Васильевич послал грамотку сыну, чтобы тот оставил полки на воевод и прибыл в стан великого князя. Но молодой витязь, почувствовавший уже вкус победы, воспротивился родительскому слову. «Если будет на то воля Господа, то умру здесь, но врагу не уступлю и пяди земли Русской», — ответствовал он через посыльного.
Слова сына разгневали великого князя и он приказал воеводе Холмскому силой принудить Иоанна Иоанновича прибыть в стан государя. Но князь Холмский, получив столь грозный наказ, только руками развел. Даже боязнь навлечь на себя великокняжеский гнев не могла заставить его взять под стражу царственного витязя. Так и остался молодой великий князь с русским воинством.
Пока шли нешатко-невалко переговоры между ханом Ахматом и великим князем, нижегородская рать, руководимая князем-воеводой Василием Ноздреватым и крымским царевичем Нордоулатом, гостившим у великого князя, на судах спустилась вниз по Волге до самого Сарая. Понятное дело: не глазеть на град сей и веси чужие ходила. Прошлась огнем и мечом по ордынским тылам, вселяя в умы татарского люда такой же ужас, который до этого испытывали сами русичи от нашествий Ахмата.
И, как предвидел митрополит, вести о том стали известны в войске Ахмата. Многие татарские мурзы и беи требовали возвращения в родные края, чтобы защитить жен и детей от русских мечей. Началась буза. Хану и его нукерам едва удалось предотвратить мятеж и удержать воинов на берегу Угры. Но моральный дух воинства был подорван, и большого желания нападать на русские полки уже не было. К тому же обещанная Казимиром помощь так и не подходила. Хан едва ли не каждый день посылал гонцов к польскому королю, но их перехватывали не только конные разъезды московского князя, но и в тех землях, которые были под Литвой. Редким посыльным удавалось достичь ставки короля, а еще более редким — возвратиться в стан хана. К тому же приносимые ими вести не утешали.
А тут и осень подошла. И не только с ягодами и грибами, с золотом и багрянцем лесов, но и с хмарью небес и свинцовой тяжестью вод в реках. Вскоре — и того хуже: зачастили долгие русские дожди. А там и сиверко задул, стал пробирать все живое до самых костей.
Чтобы не терять в пустом противостоянии людей, Иоанн Васильевич двадцать шестого октября, когда мороз стал сковывать воды рек, а поземка — перебивать пути-дороги, приказал сыну, братьям и всем воеводам отвести русские полки к Кременцу. А оттуда — к Боровскому, где, встав на выгодных позициях, готовиться дать бой татарам. Но неподготовленное, поспешное отступление едва не превратилось в паническое бегство. Воеводы едва сумели навести порядок — так было расстроено войско. Но, слава Богу, обошлось. Пушкари и пищальники оружия не бросили, сохранили и огненное зелье с боеприпасом. Не побросали копий пешцы, не оставили коней и оружие всадники. И теперь все, став воинским станом у Боровского, с тревогой ожидали приближение врага. Даже поговорка случилась: «Хоть Кременец — делу венец, но Боровское — тоже не воровское».
Но огромное войско Ахмата русских не преследовало. Оно продолжало стоять на Угре, не понимая действий московского государя и опасаясь его хитрой уловки. Болезни и бескормица стали подкашивать силы татарские. Вновь усилился ропот. И одиннадцатого ноября хан распорядился возвращаться восвояси. Но не прямой дорогой, а через земли литовского князя. «Хоть тут попользуемся…» — мстительно решил он, проклиная Казимира, подбившего его на столь бесславный поход. Однако нетерпеливые мурзы, стремящиеся поскорее возвратиться в родные улусы и аулы, подвергшиеся нападению нижегородцев, со своими воинами повернули прямо к берегам Волги. И только третья часть войска пошла с Ахматом к Донцу на зимнее кочевье. По пути Ахмат и его воины в Брянской земле разграбили двенадцать русских градов, находившихся под Литвой. Там не ждали такого коварства от «союзника», врат не закрывали, в осаду не садились, потому и пострадали крепко. Когда же татары Ахмата, обогащенные грабежом, подошли к Рыльску и тоже попытались поживиться, то встретили достойный отпор. Княжеский замок на горе Ивана Рыльского и град, закрыв перед напрошенными гостями врата, ощетинились пушками и пищалями, метательными нарядами сотнями луков и копий.
Рыльский князь-наместник Василий Иванович хоть и был юн годами, да умом не скорбен. Сразу же после отъезда батюшки он призвал своих самых надежных воев-следопытов и приказал им найти московскую и ордынскую рати, да и следить издали за их действиями. «Поезжайте о двуконь, чтоб было сподручнее при длительных скачках, но смотрите, себя не обнаружьте», — строго-настрого напутствовал разведчиков. Вот те тайно и наблюдали за великим стоянием на Угре. А как только поняли, что озлобленный Ахмат стал разорять литовскую окраину, тут же доложили Василию. Он и принял меры.