Правление Рудольфа IV в Австрии было непродолжительным, однако очень важным для развития австрийской государственности и укрепления позиций государства на международной арене. Основными моментами политики Рудольфа были повышение статуса Австрии и борьба за ее независимость от Священной Римской империи. С самого начала правления герцога отношения Австрии и императора резко осложнились. В 1356 году Карл IV из Люксембургской династии издал знаменитую «Золотую буллу», установившую порядок избрания императора коллегией из семи курфюрстов (выборщиков). Австрия, равно как и Бавария, не была включена в число курфюршеств. В ответ Рудольф IV в 1358 году опубликовал так называемую «Большую Привилегию» (Privilegium Maius), то есть сборник указов предшествующих императоров, предоставлявших особые права Австрии и ее монархам, один из указов освобождал страну от налогов и прочих имперских обязанностей.
В частности, согласно «Большой Привилегии», австрийские монархи получили титул эрцгерцога, ставивший их в феодальной иерархии сразу за королями и курфюрстами, но выше остальных князей Германии. Кроме того, было заявлено, что единственным обязательством австрийских правителей по отношению к императору теперь будет выставление военного контингента в случае войны с Венгрией, а любое вмешательство императора в политику герцога будет незаконным. Австрийский монарх узурпировал также верховную судебную власть в своих владениях, а все земли Габсбургов были объявлены нераздельным доменом, передающимся как по мужской, так и по женской линии.
Некоторые считают документы «Большой Привилегии» фальшивками, однако их появление вполне наглядно отражало усиление влияния Австрии в Германии и ее стремление полностью освободиться из-под власти императора.
Естественно, обнародование «Большой Привилегии» вызвало крайне враждебную реакцию императора Карла IV. Он отказался признать подлинность документов, лишил Рудольфа IV прав имперского наместника в Эльзасе и титула герцога Швабии, а также поддержал выступления швейцарцев против Габсбургов. Императору удалось заставить Рудольфа IV отказаться от использования титула эрцгерцога, однако Карлу IV все же пришлось, во избежание вооруженного конфликта, устраниться от всякого вмешательства во внутренние дела Австрии. В результате Рудольф стал проводить полностью независимую политику в своих землях.
Отношения Австрии и императора нормализовались лишь к концу правления Рудольфа IV, что позволило в 1364 году подписать договор о взаимном наследовании между Габсбургами и Люксембургской династией.
В том же году, желая воспрепятствовать возможному разделу австрийских владений, Рудольф IV подписал договор со своими младшими братьями о том, что Австрийская монархия останется нераздельной и будет передаваться по наследству сразу всем детям монарха, причем старший будет считаться регентом. Это положение вошло в историю государственного права Австрии как «Рудольфово правило» (Rudolfmische Hausordnung), однако оно было нарушено уже его наследниками.
В правление Рудольфа IV был основан Венский университет, ставший очень скоро одним из крупнейших учебных заведений в Центральной Европе. При Рудольфе IV был перестроен и обрел свой нынешний архитектурный облик собор Святого Стефана в Вене. Он присоединил к Австрии Тирольское графство.
В 1356 году Рудольф IV женился на Екатерине Люксембургской (1342— 1395), дочери императора Карла IV, но детей от этого брака у него не было. А 27 июля 1365 года Рудольф IV неожиданно умер в Милане в возрасте всего двадцати шести лет.
Ему наследовали его младшие братья Альбрехт III и Леопольд III.
Альбрехт III (1349— 1395) стал основателем так называемой Альбертинской линии Габсбургского дома. Он был третьим сыном Альберта II. А Леопольд III (1351—1386), его младший сын, стал основателем Леопольдинской линии Габсбургского дома. Произошло это после того, как они в 1379 году, в нарушение всех постановлений, заключили между собой договор о разделе наследственных владений. Альбрехт III получил собственно Австрийское герцогство, а Леопольд III стал правителем Штирии, Каринтии, Крайны, Истрии и Тироля.
Таким образом, владения Габсбургов были разделены между двумя наследниками, что положило начало периоду раздробленности в Австрийской монархии, продолжавшемуся почти столетие и сильно ослабившему позиции Габсбургов в Германии.
Леопольд III в 1386 году предпринял поход в швейцарские кантоны, но потерпел там жестокое поражение при Земпахе, где он сам был убит. Альбрехт III скончался в 1395 году, и место на троне занял его единственный сын Альбрехт IV.