Генрих бросился в Италию, совершив сложный переход через Альпы; Григорий VII направлялся в Аугсбург. В Италии к королю стекались графы, вальзассоры, епископы, настроенные антигригориански по многим причинам, одной из которых являлась поддержка папой патарии — еретического движения низших слоев общества, смыкавшегося с радикальными клюнийцами в осуждении обмирщения церкви. Под Мантуей папа узнал о появлении Генриха в Италии и счел, что с помощью всех его итальянских противников король расправится с ним. Григорий VII бежал в замок Каносса под защиту маркграфини Тосканской Матильды. К Каноссе 25 января 1077 г. прибыл и Генрих. Три дня в рубище кающегося грешника король добивался от папы аудиенции, которая состоялась 28 января. Произошли слезное покаяние и клятвы короля на мощах в том, что он будет покорен римской церкви. Отсюда возникло выражение «идти в Каноссу» — каяться, смиряться, идти на унижение перед противником. Отлучение было снято и это испортило на время отношения Генриха с ломбардцами, которые он, однако, быстро восстановил. В Каноссе проиграл не король, а папа, возвратив Генриху права на престол и сюзеренитет над всеми вассалами.
Но знать Германии, получив известия о возвращении Генриха в качестве законного государя, собралась в марте 1077 г. в Форххайме, объявила о низложении Генриха и избрала новым королем герцога Рудольфа Швабского. В ряде сражений войска Генриха то терпели поражение, то одерживали малоубедительные победы. При этом Григорий VII выжидал, на чью сторону встать. В 1080 г. антикороль Рудольф одержал победу у Наумбурга, однако скончался от ран. Тогда папа вторично повторил процедуру отлучения Генриха, что не возымело никакого действия в Германии и Северной Италии. Наоборот, в том же году на синоде в Бриксене Гильдебрандт был объявлен смещенным и проведено избрание нового папы — Климента III.
Невзирая на продолжающийся мятеж в Саксонии и Тюрингии, в 1081 г. Генрих IV с небольшим войском из швабских министериалов отправился в Италию, где Григорий VII вновь потребовал от короля публичного покаяния в духе Каноссы. В Германии саксонская знать выбрала себе королем графа Германа Люксембургского, который, не будучи в силах подчинить Южную Германию, вернулся в 1083 г. в Саксонию. В этом же году Генрих IV занял Рим; Григорий VII, укрывшись в замке св. Ангела, еще раз отлучил его и папу Климента III. В марте 1084 г. Генрих IV был, наконец, коронован императором. Папа Григорий призвал на помощь норманнов, которые освободили папу и страшно разграбили Рим. Понимая свою долю ответственности, Гильдебрандт убыл из Рима вместе с норманнами и умер в Салерно в 1085 г.
Генрих IV вернулся в 1084 г. в охваченную войной Германию, которую удалось усмирить только к 1090 г. В Италии в отсутствие императора шла борьба разных пап друг с другом. В 1088 г. клюнийская партия избрала папой Урбана II, искусная дипломатия которого поставила власть Генриха IV в Ломбардии в критическое положение. Генрих вновь двинулся в Италию, где с переменным успехом воевал в 1090—1092 гг. Новый мятеж в Германии, новый антикороль заставили императора вернуться в Германию.
Бесконечные междоусобицы в Италии и Германии вызвали усталость от породивших их причин. В Италии Урбан II на Клермонском соборе в 1095 г. сумел возглавить и отчетливо озвучить идею крестовых походов. В Германии Генрих IV всячески содействовал возрожденной концепции «Божьего мира», столь желанной городам, министериалам, крестьянству и низшему клиру. И хотя на рейхстаге в Майнце в 1103 г. принимается решение об «общем мире» по всей стране, предусматривавшее жесткие санкции за нарушение имущественной и личной безопасности всего населения, это не остановило распри в стране.
В 1104 г. в союзе с баварскими магнатами против императора поднял мятеж его сын и наследник Генрих V, коронованный еще в 1099 г. До открытого столкновения не дошло, но коварный сын, уговаривая отца примириться с папой на рейхстаге в Майнце, заточил его в замке Бекельхайм. Там Генриха IV вынудили подписать акт отречения от престола. Знаки королевского достоинства в Майнце совместно с вассальной присягой от знати принял Генрих V. К отрешенному императору прибыл папский легат, заставил его исповедаться, но грехи не отпустил: унижение стало местью григорианской партии. Получив свободу, Генрих проследовал в Льеж, где объявил свое отречение недействительным и объявил сыну-антикоролю войну. На сторону императора стали среднерейнские города, видя в нем реальную гарантию «Божьего мира». Приготовления к боевым действиям шли полным ходом, вероломный Генрих V безуспешно осаждал Кёльн, неожиданно получив королевские инсигнии от отца, который умер в 1106 г. Тело Генриха IV пять лет пролежало непогребенным в Шпейерском соборе: великолепный образчик раннесредневековой культуры и католического благочестия. Борьба за контроль императорской власти над папством была проиграна, но спор об инвеституре не завершился.