По окончании строительства Успенского собора осенью 1479 года власти Болоньи обратились к Ивану III с просьбой отпустить Фиораванти на родину. Прошение их не удовлетворили, и итальянец остался в Москве, где в нем крайне нуждались для организации пушечного дела. Заваленный разнообразными работами и поглощенный собственными замыслами, Фиораванти не имел ни времени, ни желания примкнуть к какой-либо дворцовой группе и участвовать в ее интригах. Но он был иноземным мастером, которого жаловал великий князь, и некоторые придворные причисляли его к группе Софьи Палеолог, с которой, к неудовольствию многих, в Москву понаехало немало греков и фрязинов. И Фиораванти часто замечал, что в работе ему разные препоны и мелкие гадости делали не из личной неприязни, а просто потому, что он был иноверец.
Зимой 1484 г. при великокняжеском дворце произошел кровавый инцидент: иностранного врача, не сумевшего вылечить проживавшего в Москве татарского хана Каракучу, обвинили в злонамеренном отравлении, жестоко пытали, а потом по повелению Ивана III зарезали на Москве-реке. На итальянца это произвело такое гнетущее впечатление, что он решил уехать тайком, но попытка эта кончилась для него бедой. Софийская летопись сообщает, что Фиораванти «боялся того же, начал проситися у великого князя в свою землю; князь же великий пойма его и ограбив, посадил на Онтонов дворе».
Итальянский мастер стал узником и сидел на Антоновом дворе (дворе Антона Фрязина). Имущество его отобрали в казну, возможно, именно тогда погибли и строительные чертежи зодчего, а также его математические расчеты, рукописи, письма из Италии и личные записки. За мастера усердно хлопотала партия великой княгини, и спустя несколько месяцев Иван III сменил гнев на милость, так как Аристотель Фиораванти был по-прежнему очень нужным человеком для Москвы. Детищем итальянского зодчего стал и подземный Кремль, сочетавший в себе качества оборонного объекта, пожарного укрытия и сверхнадежного сейфа для царских сокровищ. В одном из подземных казематов, по преданию, впоследствии были укрыты книги из библиотеки Ивана Грозного.
В 1485 году, в возрасте 70 лет, Фиораванти ушел с московским князем в поход на Тверь. Как в свое время под Новгородом, так и сейчас гремели отлитые им пушки, только сейчас их было намного больше: мастер из Болоньи командовал под Тверью всей артиллерией царя Ивана. После 1485 года сведения об итальянском зодчем исчезают: он мог погибнуть в Тверском походе, мог по возвращении жить, помогая молодым мастерам… Однако есть версия, что Фиораванти был заперт в одном из кремлевских тайников, где смог убедиться в достоинствах сооруженной им темницы. Наказание не соответствовало «вине» престарелого Фиораванти, и скорее всего его можно отнести к очередной смене настроения великого князя.
Первые месяцы заточения Фиораванти бушевал в бессильной злобе, проклинал неблагодарного царя и угрожал тюремной страже чуть ли не войной, которую император Священной Римской империи объявит Москве за обиду, нанесенную итальянцу. Но стражники оставались бесстрастными, как и воздвигнутые им каменные стены Кремля. Вскоре Фиораванти убедился в бесплодности своих угроз и замолчал: целыми днями лежал он на своем соломенном ложе, упорно разглядывая пятна на низком потолке. Его густые иссиня-черные волосы покрылись сединой, когда-то яркие глаза померкли, кожа лица приобрела тот желтоватый оттенок, который от долгого пребывания в темнице без воздуха и света напоминал цвет пергамента.
Пылкая натура итальянца требовала деятельности, и он обратился к царю с челобитной, прося позволения заняться чертежами. Иван III прекрасно понимал, что все доставленное Фиораванти в тюрьму здесь же и останется, и согласился. Узник получил все нужное для чертежей и письма, даже взялся было за работу, но новые проекты теперь его уже не занимали. Он жаждал мести и целыми днями писал на итальянском языке воспоминания, шаг за шагом рассказывая о своем путешествии в Россию, пребывании в Москве и о тех случаях из жизни русского царя, в которых сказывались его чрезмерная жестокость, коварство и безграничный произвол. Фиораванти изображал Ивана III лишенным совести тираном и чувствовал приятное удовлетворение при мысли, что, может быть, его записки попадут в руки какого-либо иноземного посла, и тот увезет их на Запад. И тогда вся Европа оценит русского царя по заслугам… Но странно: чем дальше шла работа, тем меньше черных красок выливалось из-под пера Фиораванти. Обвинения, которых так много было в начале записок, теперь исчезли без следа, и узник подолгу задумывался, пытаясь вызвать в памяти подробности «позорных» деяний царя. «Да, он действительно был суров и своеволен, без всяких колебаний попирал законные права других людей. Но тот же Иоанн создал из княжества Московского огромную державу, в одно государство сплотил бессильные уделы, сломил строптивость отдельных городов и княжеств. А что порой был суров и жесток, то вынужден был карать своевольных бояр и князей, которые были недовольны, что их лишили былой славы и значения».