Во времена правления Ивана Калиты примерно на том же месте, на котором стоит сейчас Иван Великий, был возведен небольшой каменный храм во имя св. Иоанна Лествичника. К названию храма добавлялось: «иже под колоколы» — он имел звонницу. В 1503 г. этот храм был разобран, а в 1508 г. приступили к строительству на его месте нового. За дело взялся итальянский архитектор Бон Фрязин — личность загадочная. Дело в том, что об этом иностранном мастере неизвестно практически ничего. Единственное упоминание, которого он удостоился в летописях, — рассказ о строительстве храма на Соборной площади, причем он содержит в основном описание внешнего вида постройки. Совершенно непонятно, каково было настоящее имя Бона Фрязина, какой итальянский город звал он своей родиной, при каких обстоятельствах и когда прибыл на Русь и покинул ли вообще пределы нашей страны или так и остался доживать свой век здесь. Это тем более странно, что все прибывавшие из-за рубежа сколько-нибудь значимые лица обычно более или менее торжественно встречались, одаривались подарками, а заодно и держались под контролем в целях государственной безопасности. Таинственный Бон соединил в своем творении храм, колокольню и сторожевую башню — ведь новый храм Иоанна Лествичника стоял на одной из самых высоких точек Боровицкого холма. Творение Бона Фрязина имело три этажа-яруса.
В 1532 г. зодчий Петрок Малый начал с северной стороны от этого храма-башни возведение звонницы, и к 1543 г. выстроил прямоугольное сооружение, в архитектуре которого ясно читалось увлечение зодчего новгородской и псковской архитектурой. На третьем этаже этой звонницы разместился храм Вознесения, для удобства входа в который в 1552 г. была построена высокая каменная лестница. На звоннице помещался один из главных колоколов Москвы, который называли «Благовестник» (от слова «благовест», звон по случаю Православного праздника или радостного события).
Среди московских колоколен удивительная колокольня Ивана Великого, скрывающая в себе храм, имела особое значение. Вот какой рассказ современника приводит писатель конца XIX а В. Никифоров-Волгин: «Московская Пасха, сынок, могучая! Кто раз повидал ее, тот до гроба помнить будет. Грохнет это в полночь первый удар колокола с Ивана Великого, так словно небо со звездами упадет на землю! А в колоколе-то, сынок, шесть тысяч пудов, и для раскачивания языка требовалось двенадцать человек! Первый удар подгоняли к бою часов на Спасской башне-…Пробьют — и сразу же взвивается к небу ракета… а за ней пальба из старых орудий на Тайницкой башне — сто один выстрел!» («Светлая заутреня»).