Генриху, которого немцы выбрали королём ещё при жизни Конрада, было всего двадцать два года, когда он вступил на престол. Но он уже давно подавал великие надежды и не обманул их. Подобно своему отцу одаренный решительной волей и возвышенным духом, он был точен и постоянен в делах, имел широкие познания и владел даром красноречия. Его мудрая мать Гизела с ранних пор старалась образовать его чтением книг, что в то время было большой редкостью. Конрад исподволь приготовлял своего сына к принятию власти и постарался сосредоточить в его владении как можно больше земель. В результате почти все герцогства оказались в его руках. Когда в начале правления молодой король делал объезд по Рейну и Южной Германии, он везде – во Франконии, Швабии, Баварии, Каринтии – находился в своих непосредственных владениях. Только Саксония и Лотарингия имели своих особых герцогов. В связи с этим казалось, что правление нового государя не будет омрачено внутренними смутами. И действительно, первым делом Генрих постарался прекратить очень опасный для империи мятеж в Ломбардии. Архиепископ Миланский Ариберт, упорно воевавший с Конрадом, приехал на Рейн к его сыну, выразил покорность и получил прощение.
Вслед за тем, в 1040 г., Генрих начал войну с богемским герцогом Бретиславом, необычайно усилившимся после распада Польши. Первый поход против него окончился полной неудачей. Два больших немецких отряда попали в засады, устроенные чехами в горах, и были разбиты. В 1041 г. Генрих во второй раз вторгся в Богемию. На этот раз император позаботился хорошо разведать дороги и сам внезапно с трёх сторон напал на чешское войско. Разгромив его, он в сентябре подступил к Праге. Бретислав должен был отказаться от Польши, принес ленную присягу и обещал платить дань. В 1042 и 1043 гг. император совершил походы в Венгрию, заставил короля Абу платить ему дань и отобрал у него восточные земли до Моравии и Лейты. Венгры, сильно огорченные потерей этих прекрасных пастбищ, в следующем году возобновили войну. В июле 1044 г. Генрих нанес им сильное поражение в битве на Раабе. Преследуя бегущих, он взял венгерскую столицу Штульвейсенбург. Вскоре Аба был схвачен и казнен своими вельможами, которые передали власть его противнику Петру. Но и это им не помогло: Петр должен был признать себя вассалом императора.