Кровь знаменитых предков не текла в его жилах, но, тем не менее, он был их наследником, а наследием, которое он в свою очередь старался сохранить, он управлял как хороший отец семейства. Больше всего его подданные ждали от него сохранения мира. Накануне коронации он провозгласил всеобщее перемирие и постановил, что все незаконно взимаемые дорожные пошлины будут отменены. Назначение верховного судьи показало, что Рудольф серьезно относился к судебным органам, созданным Фридрихом II в 1235 г. Затем он сам взялся за дело и совершил поездку на запад и юго-запад империи, без колебаний разрушая замки, служившие логовом бандитов. В конце правления, перед стенами Эрфурта было казнено по его приказу двадцать девять «рыцарей-разбойников». Он направился туда в 1289 г., чтобы покончить со ссорами между ландграфом Тюрингским и его сыновьям, и покинул страну, только полностью наведя в ней порядок. Граф, который смог постоянно увеличивать свои владения, проявил те же стремления, став королем. Во время междуцарствия владения империи были разорены одними и захвачены другими. В 1273 г. в ходе общего совета князья, собранные под руководством правителя, решили, что все эти вторжения должны постоянно пресекаться. Рудольф применил политику так называемых протестов: королевские чиновники, поставленные во главе округов (
Родившись на юго-востоке империи, Рудольф Габсбург вынужден был покинуть этот регион, любимый и оказывавший ему поддержку. Власть, которую он считал своим долгом заставить уважать, высмеивал Оттокар Богемский: он не считал необходимым испрашивать у «бедного маленького графа» инвеституру своих ленных владений. Спустя один год и один день закон, наказывающий неверных вассалов, была введен в силу. Король Богемии насмехался над ним; в 1275 г. он был объявлен предателем и изгнан из пределов империи. Рудольф тщательно подготовил выполнение приговора. Его силы были столь велики, что Оттокар был вынужден принести публичное покаяние и в 1276 г. преклонить колено перед Рудольфом, который специально для этого случая, надел кожаный плащ разоренного мелкого помещика.
Между обоими противниками было заключено перемирие; однако не прошло и двух лет, как оно было нарушено. Военные действия возобновились, и 26 августа 1278 г. Оттокар был разгромлен и убит. Его сын Вацлав сохранил Богемию, но его австрийские владения в 1282 г. были переданы Рудольфом его собственным сыновьям, Альбрехту и Рудольфу. Событие стало историческим: отныне Габсбурги становились князьями, а эта семья, зародившаяся недалеко от Рейна, чувствовала себя на берегах Дуная как дома; она стала правящим домом Австрии.