Однако избранный на королевский престол князьями Рудольф Швабский не смог укрепиться. Он оставался антикоролем, которого не поддержало даже большинство знати, в частности церковной, не говоря уже о городах и низшем и среднем дворянстве, которые Генриха IV, добившегося снятия церковного отлучения, считали законным королем. И это объяснялось не тем, что эти круги верили в идею «легитимной монархии», а политическими интересами разных групп. Немецкий епископат, связанный с королевской властью вассально-ленными отношениями, видел в Генрихе IV защитника против папы, который обвинял прелатов в симонии и хотел лишить их «мирских благ». Дворяне и города поддерживали Генриха IV, как борца против князей, способного защитить их от произвола магнатов. Особенно значительную поддержку Генриху IV оказали города. Жители Майнца прогнали Рудольфа Швабского из своего города вскоре после его коронования местным архиепископом. Враждебно были настроены против него и горожане Вормса, а также других рейнских городов. Генриху IV, оказали военную помощь чешский князь Вратислав и феодалы южногерманских областей. Только саксонская знать оставалась непримиримой и решительно поддерживала антикороля Рудольфа. В развернувшихся сражениях между войсками короля и антикороля на территории Средней Германии обе стороны попеременно добивались успеха. В августе 1078 г. на реке Неккаре рыцари Рудольфа Швабского разбили набранное в значительной части из крестьян Неккарской долины королевское войско. Война продолжалась до смерти антикороля Рудольфа (1080).
Папа Григорий VII стремился использовать смуту, чтобы укрепить свое влияние в Германии, выступая в роли арбитра. Но когда перевес временно оказался на стороне Генриха IV, он опять подверг его отлучению, что, однако, не произвело заметного воздействия на церковные круги в стране. Пользуясь поддержкой немецкого и ломбардского епископата, Генрих IV перешел в наступление. На синодах в Бамберге, а затем в Майнце было принято решение лишить Григория VII папской тиары. Немецкие и ломбардские епископы избрали папой архиепископа равенского Зиберта под именем Климента III (1080), вокруг которого сгруппировались все противники григорианской реформы в Италии.
Новое папское отлучение создало Генриху IV популярность в Северной и Средней Италии (антипапские настроения в Тоскане усилились, в частности, в связи с тем, что маркграфиня тосканская Матильда передала область под сюзеренную власть Григория VII). Воспользовавшись этим, Генрих IV с небольшим войском из швабских министериалов направился в Италию, чтобы привести в исполнение решение немецких и ломбардских епископов – изгнать из Рима Григория VII и посадить на папский престол Климента III. В 1083 г. он занял Рим и заключил с римской знатью соглашение о том, что спор между папой Григорием VII и им должен быть решен на специально созванном в Риме синоде. При этом король получил конфиденциальные заверения от римской знати, что на папу будет оказано давление, чтобы склонить его короновать Генриха IV императорской короной, а в случае отказа они обещали избрать на место Григория VII другого папу. Григорий VII отверг эту сделку и решительно настаивал на публичном покаянии короля. Тогда Генрих IV снова занял Рим и добился на созванном синоде отстранения с папского престола Григория VII и провозглашения папой Климента III. Из рук этого папы он и получил императорскую корону (1084). Григорий VII укрылся в замке св. Ангела и был спасен от немцев подоспевшим войском южноитальянского норманнского герцога Роберта Гюискара. Норманны, выбившие из города немцев и освободившие папу, подвергли Рим страшному разграблению, вину за которое население с полным основанием возлагало на папу. Григорий VII не мог оставаться во враждебно настроенном городе и ушел с норманнами на юг в Салерно, где вскоре и умер (1085). Так закончился первый акт борьбы папства с императорской властью за инвеституру. Ни та, ни другая сторона не добились пока заметного перевеса и обе были одинаково полны решимости продолжать борьбу до окончательной победы. Григорий VII, несомненно, добился одного – освобождения папства от насильственно навязанной опеки императоров.