Решение вопроса о престолонаследии осложнилось тем, что объявились претенденты на корону, не связанные узами родства с Оттонами. В день погребения Оттона III, состоявшегося в Ахене 5 апреля 1002 года, значительная часть присутствовавших князей заявила, что окажет поддержку Герману, герцогу Швабскому, в борьбе за королевский престол. Тем временем на съезде саксонской знати выдвинули свою кандидатуру — маркграфа Мейсенского Эккехарда, отличившегося в 998 году при подавлении мятежа римлян. Однако тот вскоре угодил в ловушку, подстроенную его противниками, и погиб. После этого Генриху Баварскому удалось с помощью щедрых обещаний заручиться поддержкой саксов. Еще раньше отказался от притязаний на королевскую корону Отто Каринтийский. В Южной Германии Генриха поддержали большинство князей церкви во главе с архиепископом Майнцским Виллигисом. Последний и провел в Майнце 6 июня 1002 года, после того как за Генриха проголосовали светские и духовные князья из Баварии, Франконии и Верхней Лотарингии, обряд его помазания и коронации. Внук Генриха, любимого сына королевы Матильды, тщетно пытавшегося по наущению матери отнять у старшего брата власть, взошел на королевский престол Германии. Потомок в третьем поколении исполнил давнюю мечту.
Как и полагалось по закону и обычаю, новый король Генрих II совершил объезд своего королевства, в ходе которого на верность ему присягнула знать Тюрингии и Саксонии. В Падерборне 10 августа архиепископ Майнцский Виллигис короновал и супругу Генриха, королеву Кунигунду. Духовные князья Нижней Лотарингии присягнули на верность новому королю в Дуйсбурге, а светские во главе с герцогом Отто, последним представителем рода Каролингов, — в Ахене, где 8 сентября Генрих II воссел на трон Карла Великого. 1 октября герцог Швабский Герман сдался на милость королю, был прощен и получил от него в лен герцогство.
После гибели Эккехарда Мейсенская марка оказалась беззащитной. Этим воспользовался польский князь Болеслав Храбрый, совершивший вторжение и дошедший до самого Мейсена. Несмотря на очевидный акт агрессии, Болеслав был принят в Мерзебурге в числе саксонских князей, собравшихся, чтобы присягнуть на верность новому королю. Генрих II даже пожаловал ему в лен восточную половину Мейсенской марки и часть саксонской Восточной марки. Сам город Мейсен получил родственник Болеслава Гунцелин. Король это сделал, желая сохранить дружественные отношения с Польшей, поскольку тогда, еще не укрепив свою власть в Германии, он не имел возможности дать вооруженный отпор Болеславу. И тем не менее, в отличие от Оттона III, чья восточная политика была основана на союзе с католической Польшей против язычников полабских славян, Генриху II позднее пришлось сделать крутой поворот во взаимоотношениях с восточными соседями. Не в последнюю очередь это произошло по причине агрессивной политики Польши, превратившейся при Болеславе I Храбром (992-1025) в сильное раннефеодальное государство. Его войско совершало завоевательные походы в земли поморских славян, в Киевскую Русь, Чехию и Германию. В 1003 году Болеслав Храбрый напал на Чехию и занял Прагу, тем самым еще более расширив свое политическое влияние, простиравшееся теперь от Балтийского моря до Карпат и от Вислы до горного массива Чешский Лес. Сознавая собственную силу, он отказался принести Генриху II вассальную присягу за аннексированную Чехию и оказывал поддержку германским герцогам и маркграфам, оспаривавшим у короля корону. Так, он нашел союзника в лице Генриха Швайнфуртского, обманутого в своих надеждах на получение герцогства Баварского и потому бунтовавшего против короля. В этой трудной для себя ситуации Генрих II решился на союз с язычниками — племенами полабских славян, издавна враждовавшими с Польшей.
С мятежом Генриха Швайнфуртского королю вскоре удалось справиться. Однако он не сумел дать отпор Болеславу, совершившему летом 1003 года вторжение в Германию и дошедшему, грабя и опустошая все на своем пути, до левобережья Эльбы. Ответный военный поход в Польшу летом следующего года оказался неудачным. Зато осенью Генриху II удалось вторгнуться через Рудные горы в Чехию и передать там власть враждебному Болеславу князю — его брату Яромиру. На обратном пути король отвоевал область мильчан и Баутцен, назначив в этом пограничье маркграфом Германа, сына погибшего Эккехарда. Летом 1005 года Генрих II опять выступил против Польши и сумел дойти до Познани, но, очевидно, не рассчитывая на большие успехи, был вынужден заключить с Болеславом, как выразился анналист, «недобрый мир». Этим соглашением, условия которого нам не известны с достаточной полнотой, закончилась первая фаза войн нового немецкого короля против Польши. Болеслав согласился возместить причиненный ущерб, что тем не менее не дает оснований говорить о признании им германского верховенства.