Внутри Кремль, за небольшими исключениями, представлял собой «городок» всевозможных деревянных построек — жилых и служебных домов. Кроме великокняжеской семьи, бояр, высшего духовенства и многочисленной придворной челяди, в Кремле проживал еще самый разнообразный люд. Неприглядные домишки обывателей заполняли все пространство в границах кремлевских стен и лепились по склонам холма.
Иван III задумал перестроить Кремль, сделать его достойной резиденцией правителя могучей державы и неодолимой твердыней, чтобы в случае необходимости отразить натиск любого врага. А вместе с тем и украсить Кремль величественными зданиями, которые олицетворяли бы мощь Русского государства. В 1480 году сносятся обветшавшие стены и башни, а на их месте закладываются новые. Первыми были заложены башни, прикрывавшие равнинную тыловую площадку — «приступ» — и речную полосу; крепятся сваями крутые берега, в реку выводятся подземные ручьи. Надо было укреплять и грунт, чтобы он надежно держал каменные громады.
Иван III приказал «на сто сажен да на девять» расчистить пространство за стенами, снести десятки лачуг и церквушки с погостами, облепившие старые стены. Явное святотатство рушить Божьи престолы и выбрасывать кости из древних могил, но князь и слушать не хочет: пусть мертвые не стесняют живых… А на месте, где располагались небольшие дворцы купцов и бояр, поднялись великолепные здания, блистающие своей красотой.
Весь Кремль — его стены, башни и соборы — сложены руками русских мастеров, собранных из разных городов. Именно они возвели крепкой русской кладкой уникальный кремлевский ансамбль, который и поныне восхищает всех своим величием и монументальностью. К этому времени уже в течение 60 лет строили и обустраивали каменную Москву итальянцы-фрязове, но и иностранные «муроли» (архитекторы), прежде чем приступить к работам, должны были поездить по другим городам, чтобы познакомиться с русским зодчеством.
Укрепляя Кремль, итальянские зодчие использовали и весь опыт римских фортификаторов: стены и башни располагались по заветам хитроумного Витрувия: «Надо, чтобы башни прерывали ход по стенам; если неприятель завладеет одной частью стены, остальные были бы от него отрезаны». Каждая башня являлась самостоятельной крепостью: отняв приставную лестницу, гарнизон наглухо замыкался в каменной ограде, но в случае необходимости мог скрыться потайными ходами Круглые башни, если их заполнить землей, оказывали громадное сопротивление снарядам. Кроме того, у них нельзя было разрушить углы, как в квадратных башнях.
Новые укрепления отвечали требованиям тогдашнего фортификационного искусства, и Кремль представлял собой систему надежных и сильно вооруженных башен, контролирующих окружающее пространство. Стены идут с небольшим изломом, башни же несколько выдвинуты вперед. Благодаря этому с каждой стрельницы во время осадного боя можно было наблюдать за положением на соседних башнях и своевременно оказывать им помощь. Внутри башни были разделены сводами и деревянными настилами на несколько ярусов и имели хитро расположенные друг над другом амбразуры. Приспособленные для верхнего, среднего и нижнего боя, они располагались так, что никто не мог укрыться, притаившись у стены, или скрытно подобраться к ней. Сверх того, были устроены и навесные бойницы, а наверху башни заканчивались боевыми площадками, прикрытыми деревянными навесами, что придавало им еще более суровый вид. Под стенами, башнями, храмами и другими постройками нового Кремля были устроены подземные ходы и водоемы, сводчатые погреба и кладовые для хранения пороха, оружия и других запасов.
Когда в Кремле завершились каменные работы, в 1508 году итальянский мастер Алевиз Фрязин поднял шлюз на реке Неглинной и бурный поток наполнил ров, прорезавший всю Красную площадь от Неглинной до Москвы-реки. Кремль, окруженный с трех сторон водной преградой (Москва-река, Неглинная и ров на Красной площади), стал возвышаться как неприступный замок на острове. Проникнуть в него можно было только через подъемные мосты проездных башен, ворота которых дополнительно забирались железными решетками. За щетиной своих зубчатых стен Кремль стал подлинно неприступным и ни в чем не уступал прославленным замкам Западной Европы. Однако, в отличие от них, он не имел угрюмого вида благодаря своим новым храмам с блестящими главами и нарядным дворцовым палатам с пестрыми кровлями, живописно поднимавшимися за укреплениями.