После смерти Альбрехта I его сыновья, австрийские герцоги Фридрих Красивый и Леопольд, пытались бороться за германскую корону, но неудачно: от нее Габсбургов оттеснили вначале Люксембурги, а затем баварская династия Виттельсбахов, глава которой Людвиг IV в 1322 г. разбил Фридриха и Леопольда в битве у Мюлльдорфа. Кстати, выбор Альбрехтом I имен для своих сыновей не случаен: Фридрихами и Леопольдами были многие Бабенберги, и, называя собственных потомков в честь представителей первого австрийского герцогского рода, Габсбург хотел символически породниться с Австрией, завоеванной его отцом.
В 1330 г., после смерти невезучего и довольно бесцветного Фридриха Красивого, власть в Австрии и Штирии перешла к следующему из сыновей короля Альбрехта — Альбрехту II, вошедшему в историю под двумя прозвищами — Хромой и Мудрый, оба из которых были вполне заслуженны. Хромота Альбрехта была вызвана сильнейшим полиартритом, ставшим, очевидно, следствием какого-то инфекционного заболевания. Что же до мудрости, то о ней свидетельствовала не только стойкость и самоирония, с которыми Альбрехт переносил свой мучительный недуг (временами он вообще не мог передвигаться самостоятельно), но и политика герцога, превратившего Австрию из набора феодальных ленов в единое и достаточно мощное государство.
В XIV в. начался постепенный процесс вытеснения Габсбургов из Швейцарии. Еще в 1291 г. три швейцарских общины, или кантона — Ури, Швиц и Унтервальден (вскоре к ним присоединился также Обервальден), — заключили между собой соглашение о союзе и взаимопомощи. Так возник прообраз Швейцарской конфедерации, благополучно существующей и сейчас. Один из кантонов, Унтервальден, однако, находился под сюзеренитетом Габсбургов, а в остальных династия всячески пыталась укрепить свое влияние. Столкновение интересов швейцарских крестьянских общин, городов и мелких землевладельцев, с одной стороны, и крупных феодалов, каковыми являлись Габсбурги, — с другой, не могло не привести к конфликту. Верх в нем взяли швейцарцы, к концу XIV века практически лишившие династию владений в этой стране. Правда, теряя земли на западе, Габсбурги приобретали их на востоке и юге: так, Альбрехту Хромому удалось завладеть Каринтией, Крайной и Вендской маркой на территории нынешней Словении.
Альбрехт Мудрый был не слишком воинственным правителем — возможно, потому, что из-за болезни не мог командовать войском. Гораздо больше ему нравилось плести дипломатические интриги, заниматься строительством и поощрять — насколько это было возможно в то время — научные изыскания. Так, при нем ученым монахом Иоанном Виктрингским был написан трактат, посвященный истории австрийских земель. Вообще, герцог немало сделал для укрепления единства Австрии, за которой, собственно, при нем и закрепилось официальное название dominium Austriae — «австрийские владения». После Чешского королевства, переживавшего при Карле IV Люксембурге (1346—1378) период небывалого расцвета, Австрия во второй половине XIV века, несомненно, была наиболее экономически сильным и политически влиятельным из государственных образований, входивших в состав «Священной Римской империи».