Занеглименье, где располагалось Ваганьково, оставалось самой опасной загородной землей. Это отсюда чаще всего двигались на Москву вражеские отряды. В 1439 году изгнанный из Золотой орды и засевший в Казани хан Уллу-Мухамед подходит к Москве. Решающее сражение развертывается на окраине Ваганькова и нынешней Арбатской площади под командованием любимца князя и его казначея Владимира Ховрина, в свою очередь, потомка выходцев из Крыма. Ховрин заложит здесь на собственном дворе церковь Воздвиженья, которая даст со временем название всей улице — Воздвиженка. Попытка Василия Темного выступить через несколько лет против казанского хана оказалась неудачной. Попадает он в плен, освобождается за огромный выкуп, а по возвращении в Москву не может даже первое время жить в Кремле. Город пострадал от жестокого землетрясения — «труса», и Василию Темному пришлось поселиться на Елизаровом дворе — на земле Пашкова дома.
Это было в 1445 году, а годом позже победу над московским князем одержали Юрьевичи. Василий был захвачен и ослеплен в Троице-Сергиевом монастыре, семидесятипятилетняя Софья Витовтовна сослана в Чухлому. И снова неудачи не сломили княгиню. Вскоре вместе со всей своей семьей она в Москве и за отсутствием в городе сына сама организует защиту столицы от подступившего к ее стенам татарского царевича Мазовши. И не было ли заслуги Софьи Витовтовны в том, что Мазовша предпочел почти сразу же уйти, так что его приход к Москве остался в истории под названием «скорой татарщины»? Великого князя Софья Витовтовна позвала в столицу только тогда, когда всякая опасность миновала.
Крутой, неуемный нрав княгини никогда не вносил мира и в ее собственную семью. Почти все свои немалые богатства Софья Витовтовна завещает любимому младшему внуку в обход старших, и это повод для бесконечных распрей и обид. Знала, что не быть ему на великокняжеском престоле, так пусть живет в княгининых палатах в Кремле не хуже великого князя, пусть не знает нужды в дорогих одеждах, мехах, драгоценностях, пусть владеет тем самым загородным двором, где когда-то жил его отец. В духовной так и говорилось после перечисления сел, казны, рухляди и двора в Кремле: «А за городом дала есмь ему Елизаровской двор и со всем, что к нему потягло».
Может, угадывала старая княгиня в подростке те черты, которых так не хватало Василию Темному, — удачливость в бою, прямой и открытый нрав. Это о нем, Юрии Меньшом Дмитровском, напишет летописец, что «татары самого имени его трепетаху». Это он вместе с братом Андреем одержал в 1468 году полную победу над казанским ханом, а спустя четыре года не дал другому хану — Ахмету перейти через Оку у Алексина. К бабкиному наследству прибавилась по завещанию отца треть Москвы, города Можайск, Серпухов, Хотунь, что делало его положение в Московском княжестве достаточно значительным.
Но умер Юрий Васильевич молодым, женат не был, в духовной особенно позаботился о матери Марье Ярославне, той самой выбранной Софьей Витовтовной княжне, а Елизаров двор, уже успевший потерять былое название, отказал великому князю: «А что мое место Ваганково да и двор на Ваганкове место, чем мя благословила баба моя, великая княгиня, а то место и двор господину моему, великому князю, опричь того места, что есмь того же места Ваганкова дал Великому Николе в дом на Песнош». Николо-Пешношский монастырь был своего рода придворным для Дмитровского князя. Основанный учеником Сергия Радонежского Мефодием в 1361 году у впадения в Яхрому речушки Пешношки, он расцвел благодаря вкладам молодого князя и даже смог начать каменное строительство.
Детьми Василий II Темный и Марья Ярославна обижены не были: одних сыновей родилось у княжеской четы семеро. Едва хватило уделов на каждого. Андрею Васильевичу Меньшому и досталось в придачу к Вологодскому уделу подмосковное Ясеневское и двор в Кремле. Но оказался Андрей Меньшой соседом не из легких, нравом скорее в бабку, чем в отца. С военным делом не расставался, постоять за себя умел вооруженной рукой.
Сначала повел себя младший брат вступившего на великокняжеский стол Ивана III Васильевича удобно для князя. Воле его не противился. Что тот велел, исполнял «без хитрости». Такой доверенностью пользовался, что, когда Иван III в 1471 году выступил против Новгорода, изо всей семьи доверил сидеть в Москве «блюсти свою вотчину» одному девятнадцатилетнему Андрею при своем малолетнем сыне. Годом позже, «войдя в великий раздор» с братьями Борисом и Андреем Большим, наградил Андрея Меньшого за верность вторым уделом — Тарусой. Денег на прихоти брата не жалел — давал без счету, возврата не требовал, крепче думал к себе привязать.