Напрасны были ответы новгородского веча, что оно не давало своим посланникам подобного поручения; Иоанн обвинил новгородцев в запирательстве и нанесении ему бесчестия и в октябре выступил в поход на Новгород. Не встречая сопротивления и отвергая все просьбы о мире и помиловании, он дошел до Новгорода и осадил его. Лишь здесь новгородские послы узнали условия, на которых великий князь соглашался помиловать свою отчину: они заключались в полном уничтожении вечевого управления. Окруженный со всех сторон, Новгород должен был согласиться на эти условия, равно как на отдачу великому князю всех Новоторжских волостей, половины владычних и половины монастырских, успев только выторговать небольшие уступки в интересах бедных монастырей. 15 января 1478 года последовала присяга новгородцев Иоанну на новых условиях, после чего он въехал в город и, захватив вождей враждебной ему партии, отослал их в московские тюрьмы.
Новгород не сразу примирился с своей участью: в следующем же году в нем произошло восстание, поддержанное внушениями Казимира и братьев Иоанна – Андрея Большого и Бориса. Иоанн принудил Новгород покориться, казнил многих виновников восстания, заточил владыку Феофила, выселил из города в московские области более 1000 семей купеческих и детей боярских, переселив на их место новых жителей из Москвы.
Особенно широко применял Иоанн к Новгороду систему выселений: за один 1488 год было выведено в Москву более 7000 житьих людей. Путем таких мер окончательно сломлено было свободолюбивое население Новгорода. Вслед за падением новгородской самостоятельности пала и Вятка, в 1489 году принужденная воеводами Иоанна к полной покорности. Из вечевых городов только Псков сохранял еще старое устройство, достигая этого полной покорностью воле Иоанна, изменявшего, впрочем, исподволь и псковские порядки: так, наместников, избираемых вече, заменили здесь назначаемые исключительно великим князем; отменены были постановления веча о смердах, и псковичи вынуждены были согласиться с этим. Одно за другим падали перед Иоанном и удельные княжества. В 1463 году присоединен был Ярославль, путем уступки своих прав тамошними князьями; в 1474 году ростовские князья продали Иоанну оставшуюся еще за ними половину города. Потом очередь дошла до Твери.
Князь Михаил Борисович, опасаясь возраставшей силы Москвы, женился на внучке литовского князя Казимира и заключил с ним в 1484 году союзный договор. Иоанн успел подавить восстание Новгорода.
1481 году умер Андрей Меньшой, младший брат Иоанна; задолжав ему 30 000 рублей при жизни, он по завещанию оставил ему свой удел, в котором другие братья не получили участия. Десять лет спустя Иоанн арестовал в Москве Андрея Большого, за несколько месяцев до того не выславшего своей рати на татар по его приказу, и посадил его в тесное заключение, в котором тот и умер, в 1494 году; весь удел его был взят великим князем на себя.
Уже в первые десятилетия правления Иоанна многие служилые князья литовские перешли к нему, сохраняя свои вотчины; наиболее видными из них были князья Иван Михайлович Воротынский и Иван Васильевич Бельский. По смерти Казимира, когда Польша избрала королем Яна-Альбрехта, а литовский стол занял Александр, Иоанн начал открытую войну с последним. Сделанная литовским великим князем попытка прекратить борьбу путем родственного союза с московской династией, не привела к ожидавшемуся от нее результату: Иоанн не ранее согласился на брак своей дочери Елены с Александром, как заключив мир, по которому Александр признал за ним титул государя всея Руси и передал ему все приобретенные Москвой во время войны земли. Позже самый родственный союз сделался для Иоанна только лишним предлогом для вмешательства во внутренние дела Литвы и требования прекратить притеснение православных. Сам Иоанн устами отправленных в Крым послов так объяснял свою политику по отношению к Литве: «великому князю нашему с литовским прочного миру нет; литовский хочет у великого князя тех городов и земель, какие у него взяты, а князь великий хочет у него своей отчины, всей земли Русской». Эти обоюдные притязания уже в 1499 году вызвали новую войну между Александром и Иоанном.
Заключенный в 1503 году мир закрепил за Москвой ее новые приобретения, в том числе Чернигов, Стародуб, Новгород-Северский, Путивль, Рыльск и 14 других городов. При Иоанне Московская Русь, усиленная и сплоченная, окончательно сбросила с себя татарское ярмо. Хан Золотой Орды Ахмат еще в 1472 году предпринял, по внушениям польского короля Казимира, поход на Москву, но взял только Алексин и не мог перейти Оки, за которой собралось сильное войско Иоанна. В 1476 году Иоанн отказался платить Ахмату дань, и в 1480 году последний вновь напал на Русь, но у реки Угры был остановлен войском великого князя. Сам Иоанн и теперь еще долго колебался, и лишь настойчивые требования духовенства, особенно ростовского епископа Вассиана, побудили его лично отправиться к войску и прервать переговоры с Ахматом.