К 1566 году развалины преобразились в импозантный замок, достойный красавицы Филиппины Велзер, которая была всего лишь дочерью аугсбургского горожанина и невенчанной супругой, поэтому не могла жить в официальной резиденции правителя. Фердинанд взял ее в жены, не расторгая первого брака, однако супружество было настоящим: в торжественной церемонии бракосочетания отсутствовало только венчание – часть немаловажная, но, как оказалось, для создания семьи вовсе не обязательная. Впрочем, после 19 лет совместной жизни влюбленные все-таки предстали перед алтарем. К тому времени уже выросли два их сына, которые не имели права наследовать богатства и титул отца, зато могли рассчитывать на хорошие должности. Так и случилось впоследствии, когда младший герцог Андреас стал епископом, а Карл – маркграфом одной из областей Священной Римской империи.
Сомнительный статус не позволял Филиппине поселиться вместе с мужем, и тот предоставил ей замок графов Андехс, где она провела много счастливых лет. Прекрасная хозяйка Амбраса не стремилась обрести больше, чем имела. Видимо, ей хватало любви царственного супруга, большого дома и тихого, мирного существования среди людей, высоко ценивших ее добродетели. Далекая от придворной суеты Филиппина умела лечить и помогала каждому, кто нужался в помощи. В замке часто собирались знатные гости, которых, помимо прочего, привлекали восхитительные застолья с шедеврами знаменитого на всю округу повара госпожи Велзер.
Фердинанд II вошел в историю как рьяный борец за чистоту католической веры, и во многом благодаря ему Тироль избежал протестантства. С неменьшим энтузиазмом он занимался светскими делами, например образованием и медициной. В отличие от жены и некоторых европейских монархов (Генрих VIII Английский), эрцгерцог не практиковал, зато экспонатам собранной им естественно-научной коллекции могли бы позавидовать университетские профессора.
Подобно парку, каменные строения Амбраса разделены на две части – нижнюю и верхнюю, – связанные между собой огромным Испанским залом. Верхний замок, возведенный на месте старой постройки, предназначался для жилья, а в Нижнем, имевшем входные ворота и просторный двор, эрцгерцог хранил свои коллекции. Будучи поклонником искусства и страстным собирателем редкостей, Фердинанд оставил после себя уникальные вещи, ставшие основой современного музея. Потомки добавили к этому немало живописных шедевров, а также собрание древностей, куда вошли и бронзовые бюсты римских императоров, сделанные для гробницы Максимилиана I в Придворной церкви. Большая часть коллекции Фердинанда разошлась по венским музеям, но меньшая все же осталась в Амбрасе.