Судя по сохранившимся описаниям, царская резиденция была настоящей крепостью. Немец-опричник Генрих Штаден отмечает в своих записках, что «стены сложены из бревен, врезанных одно в другое и доверху засыпанных землей. Снаружи, поверх бревен, во избежание пожара выложена стена толщиной в один кирпич от земли до стрельниц», иначе говоря, деревянная крепость была облицована кирпичом. Датский посол Яков Ульфельд, побывавший здесь в 1578 году, оставил зарисовки Александровской слободы, ее зданий, описал свое пребывание в ней. Мы узнаем, что это была великолепная крепость, стены се имели периметр пять верст. Вокруг стен был ров с водой. На площади стояла соборная церковь Покрова и находился государев двор со своей домовой церковью, с различными служебными и хозяйственными постройками и сточной трубой, выведенной за ограду. В крепость попасть было нелегко: все ворота ее постоянно охранялись, приезжих тщательно проверяли и обыскивали. Выехать из Слободы можно было только по специальному разрешению - «…даже птица не могла перелететь границу без ведома великого князя», - писал очевидец.
Именно в Слободе произошла та трагедия, которая воспроизведена в картине И. Е. Репина «Иван Грозный и его сын Иван». В порыве гнева царь ударом жезла погубил своего старшего сына - наследника престола. Царевич скончался на четвертый день - 23 ноября 1581 года. После кончины смертельно раненного им любимого сына Грозный покинул Слободу навсегда. Его резиденция стала приходить в упадок. Вслед за ним в Москву переехали дворовые люди. В начале XVII века Александровская слобода была ареной сражений между русскими патриотами и бандами польско-литовских шляхтичей. Гетман Ян Сапега весной 1609 года занял Слободу. Оставив там несколько отрядов для охраны дорог, возвратился с основными своими силами к Троице-Сергиеву монастырю, который он безуспешно пытался захватить. Укрепления Слободы, возведенные при Иване Грозном, переходили из рук в руки и сыграли свою роль в ожесточенных боях с интервентами. Опираясь на эти укрепления, выдающийся русский полководец М. В. Скопин-Шуйский двинулся со своими отрядами на лыжах к осажденному шляхтой Троице-Сергиеву монастырю. В январе 1610 года он заставил пана Сапегу снять осаду и отойти. В эти тяжелые годы опустевшие дворцовые и церковные здания Александровской слободы частью сгорели, частью разрушились, особенно крепость. В первой половине XVII века Слобода служила лишь путевым станом во время поездок по монастырям царя Михаила Федоровича. Только в 1651 году сын его - царь Алексей Михайлович по ходатайству монаха и слободских купцов дал указ об основании при старой церкви Успенья женского монастыря и о постройке вокруг него ограды. Так на месте, где была царская усадьба, появился в 1654 году Успенский девичий монастырь. Находясь на перепутье царских богомольных походов в Переславль-Залесский, Юрьев-Польской, в Ростов и северные монастыри, Успенский монастырь стал пользоваться известностью и получать вклады от высокопоставленных паломников.
Изумительные по своему качеству вещи, сделанные русскими умельцами того времени, можно увидеть в экспозиции художественного отдела Александровского краеведческого музея. Это скань, и золотошвейное искусство, и уникальная резьба по перламутру, дереву и кости, и тончайшая чеканка, и иконы. Ансамбль бывшего Успенского монастыря включает постройки XVI-XVII веков, возведенные до Грозного, в его время и позже. Сейчас среди местных жителей он зовется кремлем.