Мы почти сразу пообедали и в половину пятого отправились гулять — поднялись на вершину лесистого холма, который виден из наших окон. Туда ведёт чудесная вьющаяся тропа, наверху сложена пирамида из камней. Вид отсюда, вниз, на дом, очарователен. Если взглянуть налево, то там прекрасные холмы, окружающие [гору] Лохнагар, а направо, по направлению к Баллатеру, виден глен (долина), вокруг которой вьётся Ди, и чудесные лесистые холмы, которые очень напомнили нам Тюрингенский лес [горы]. Там было так спокойно и уединённо; оглянешься — и становится так хорошо, и чистый горный воздух освежает. Казалось, всё дышит покоем и свободой, и заставляет забыть о мире и его невзгодах.
Пейзаж дик, но не пустынен. Всё выглядит куда более процветающим и возделанным, чем в [деревушке] Лагган. Почва здесь совершенно сухая. Мы спустились к Ди, чудесному, быстрому потоку, совсем рядом с домом. Вид на холмы по направлению к Инверкольду необыкновенно красив».
И Виктория, и Альберт влюбятся в Балморал. Красота, тишина, уединение — место, где у них мог бы быть уютный дом для собственной семьи. Королева писала: «Это место столь чудесно не только потому, что там чистый воздух, а пейзажи прекрасны и спокойны. Дело в атмосфере любви и сердечной привязанности жителей Балморала, которые согревают сердце и утешают».
Замок был небольшим — настолько небольшим, что комфортно себя в нём чувствовала только сама августейшая чета, а вот их свите, и без того малочисленной, приходилось жить в тесноте. Даже министру лорду Мальмесбери, который должен был находиться при королеве, для занятия государственными делами, не нашлось кабинета, и ему приходилось работать в спальне, сидя на кровати.
Вот что пишет о своём визите в Балморал в 1849 году Чарльз Гревилль, оставивший обширные мемуары о временах королевы Виктории: «Из Перта в Балморал ведёт чудесная дорога. <…> Насколько я не люблю придворную Жизнь и всё, что с ней связано, я рад, что совершил эту поездку и повидал королеву и принца в их горном уединении, которое, со всей очевидностью, идёт им на пользу. Это чудесное место, здание совсем небольшое. Они живут там безо всякой пышности, просто как дворяне, причём Небогатые дворяне — небольшой дом, маленькие комнаты, скромное хозяйство. Там нет солдат, и вся охрана суверена и королевской семьи состоит из одного-единственного полицейского, которых ходит кругом, охраняя дом от непрошеных визитёров. Весь „двор“ состоит из леди Дуро и мисс Доусон, фрейлин; Джорджа Энсона и Гордона; Бирча, наставника принца Уэльского, и мисс Хильдиард, гувернантки. Живут они очень просто и скромно. Принц каждое утро отправляется на охоту, возвращается к обеду, а затем они отправляются на пешую или верховую прогулку. Королева целый день то в доме, то отправляется куда-нибудь, причём зачастую в одиночестве, навещает деревенские коттеджи, где беседует со старушками. <…>
Вечером мы отправились в комнату, расположенную за столовой, — она служит и бильярдной, и библиотекой (хотя книг почти нет), и кабинетом. Королева, принц, её дамы и Гордон вернулись в столовую, где учитель танцев учил их танцевать рил. Нам (Джону Расселу и мне) не позволили присутствовать на занятии, так что мы играли в бильярд. Затем все они вернулись, мы немного поговорили и отправились спать. Так прошёл мой визит в Балморал».
Королевская семья увеличивалась с каждым годом, к тому же нужно было принимать гостей, так что вскоре стало ясно, что места не хватает. В газетах писали: «Принято решение построить для королевы новый дворец в Балморале. Его возведут между рекой и старым замком, фасад будет обращён к югу. Приблизительная стоимость работ от восьмидесяти до ста тысяч фунтов. Архитектура будет современной, а красота будет сочетаться с удобством. Через реку Ди выстроят новый мост. Дорога, которая сейчас пролегает через Баллохбин, будет закрыта, и новую хорошую дорогу проложат по правому берегу реки. Старый замок снесут полностью. Участок для нового уже размечен».
В 1852 году королева наконец стала настоящей хозяйкой Балморала — принц выкупил поместье за тридцать тысяч фунтов. В честь этого события на близлежащем холме сложили довольно высокую, почти два с половиной метра, пирамиду из камней. «Наконец, когда пирамида высотой, как мне кажется, семь или восемь футов, была почти завершена, Альберт вскарабкался на вершину и положил последний камень, после чего трижды прозвучали приветственные возгласы. Это было весёлое, чудесное и трогательное зрелище, и я почувствовала, что вот-вот расплачусь».
В 1853 году началось строительство нового здания, и 28 сентября первый камень в основание заложила сама королева — с помощью серебряного мастерка. А под камнем покоится бутылка — в ней лежит пергамент, на котором королева написала дату закладки, и несколько тогдашних монет. В честь этого события был даже дан бал — не столько для гостей, сколько для тех, кому предстояло строить замок.