Сам он в 1472 году женился вторым браком на племяннице последнего византийского императора, принцессе из дома Палеологов Зое-Софье. Она получила воспитание в Риме. Кардинал Виссарион, грек по национальности и один из организаторов потерпевшей неудачу Флорентийской церковной унии 1439 года, ускорил заключение брака, поскольку надеялся, как и папа Сикст IV, на то, что Иван III займет видное место в большой христианской Лиге, направленной против турок. Однако Иван III и не помышлял о том, чтобы дать вовлечь себя во враждебные Турции планы, вынашиваемые папой. Главным было для него усиление влияния собственной семьи. Кроме того, Зоя-Софья привезла с собой в Москву греков и итальянцев, и прежде всего художников, которые вскоре совершенно изменили внешний вид дворца великого князя в Кремле. Софья, по-видимому, не оказывала ни политического влияния на Ивана III, как это неоднократно утверждалось, ни сколь-нибудь значительного воздействия на государственную идеологию Москвы. В первые десятилетия брака она даже отступила на задний план по сравнению с Еленой, дочерью Стефана и супругой Ивана младшего, которая в 1482 приехала в Москву и в 1483 году родила сына Дмитрия. Тот факт, что преемником отца станет Иван младший, казалось, не подлежал сомнению, несмотря на то, что Софья родила своему супругу шестерых сыновей. В 1490 году молодой Иван, которого летописцы уже начиная с 70-х годов наделяли титулом великого князя, скончался. 4 февраля 1498 года Дмитрий, достигший 15-летнего возраста, был коронован великим князем. При этом впервые была использована «шапка Мономаха», головной убор из золота, который якобы был прислан в XI веке императором Константином IX Мономахом своему зятю, сыну киевского князя, Всеволоду. В этом нашла свое вещественное выражение идея исторической преемственности, которая привела к возникновению теории о том, что Москва станет «Третьим Римом». Теперь же шапка была возложена не на старшего сына гречанки Софьи, а на внука Ивана III от первого брака, который по своему происхождению, в том числе и с материнской стороны, не имел ничего общего с Византией. По-видимому, Софья и ее сын Василий на некоторое время покинули московский двор. Между тем, несколько лет спустя произошел поворот в диаметрально противоположную сторону. 11 апреля 1502 года Иван III приказал арестовать Елену и престолонаследника Дмитрия, а 14 апреля Василий был назначен преемником и получил титул великого князя. Не будет ошибкой предположить, что это решение в пользу Софьи и ее старшего сына объяснялось внешнеполитической ситуацией, войной с Литвой и позицией Стефана, правителя Молдавии и отца Елены. Таким образом, Софья, в большинстве позднейших хроник называемая «царевной», оказывала большое влияние на Москву, однако скорее косвенное, чем непосредственное. Доказательств тому несколько: введение обращений и титулов по образцу византийских и новых придворных церемониалов, признание царского титула соседями (например, ливонцами), изображение византийского двуглавого орла на государственном гербе, впервые документально подтвержденное в 90-х годах. Впрочем, если бы не осмотрительная и дальновидная внутренняя политика Ивана III, все это осталось бы лишь пустой формальностью.
Внутренняя политика на протяжении 44 лет правления Ивана III не обходилась без конфликтов. В частности, отнюдь не всегда безоблачными и дружескими были его отношения с четырьмя младшими братьями. Софья, казалось, некоторое время даже симпатизировала деверям. Иван III сознательно ограничил власть братьев и в конце концов окончательно лишил их таковой. Удельные князья, подчинявшиеся Москве, поначалу сохраняли свои родовые владения, однако постепенно отлучались от них, переселялись в другие земли великого княжества или привлекались ко двору. Таким способом Иван III пытался создать однородный, зависимый от милости царя слой аристократии и устранить весьма значительные различия, существовавшие между отдельными труппами, и, кроме того, сознательно поддерживал мелкое служилое дворянство. Формирования сплоченной боярской оппозиции и тем более возникновения сословий не произошло, поскольку высший слой аристократии был истощен борьбой, связанной с иерархической системой, «местничеством», и при этом все больше попадал в зависимость от великого князя. Свод законов, судебник 1497 года, кодификация действующего права, был создан не только с целью введения единообразия судопроизводства в московском государстве в целом. Он подчеркивал, что верховная судебная власть сосредоточена в руках великого князя, а наместники по его указанию вершат суд и управление. Право свободного передвижения и повсеместного проживания крестьян уже ограничивалось, однако пока еще не отменялось.