В Германии действия папы вначале не произвели особого впечатления на епископат, но вскоре в его среде начался раскол. Ломбардские епископы в Павии произнесли анафему Гильдебрандту; то же самое сделал епископ Вильгельм Утрехтский в присутствии короля, но этот важный акт не удалось провести через германский церковный синод в Вормсе ввиду его малочисленности. Пропапской позиции придерживались магнаты, собравшиеся на съезд в Трибуре в 1076 г., где в отсутствие Генриха стали рассуждать о его низложении, но не смогли выработать сам механизм этого акта из-за противодействия многих епископов. Для разрешения колебаний был назначен еще один рейхстаг в Аугсбурге, на который должен был прибыть в качестве третейского судьи Григорий VII, которому и отводилась роль произнесения рокового для Генриха приговора. Посреднический план предложил аббат Гуго, принимавший некогда участие в ритуале крещения Генриха: к 22 февраля 1077 г., т. е. ровно через год и один день после предания короля анафеме, тот должен либо примириться с папой, либо проститься с короной.
Генрих бросился в Италию, совершив сложный переход через Альпы; Григорий VII направлялся в Аугсбург. В Италии к королю стекались графы, вальзассоры, епископы, настроенные антигригориански по многим причинам, одной из которых являлась поддержка папой патарии — еретического движения низших слоев общества, смыкавшегося с радикальными клюнийцами в осуждении обмирщения церкви. Под Мантуей папа узнал о появлении Генриха в Италии и счел, что с помощью всех его итальянских противников король расправится с ним. Григорий VII бежал в замок Каносса под защиту маркграфини Тосканской Матильды. К Каноссе 25 января 1077 г. прибыл и Генрих. Три дня в рубище кающегося грешника король добивался от папы аудиенции, которая состоялась 28 января. Произошли слезное покаяние и клятвы короля на мощах в том, что он будет покорен римской церкви. Отсюда возникло выражение «идти в Каноссу» — каяться, смиряться, идти на унижение перед противником. Отлучение было снято и это испортило на время отношения Генриха с ломбардцами, которые он, однако, быстро восстановил. В Каноссе проиграл не король, а папа, возвратив Генриху права на престол и сюзеренитет над всеми вассалами.
Но знать Германии, получив известия о возвращении Генриха в качестве законного государя, собралась в марте 1077 г. в Форххайме, объявила о низложении Генриха и избрала новым королем герцога Рудольфа Швабского. В ряде сражений войска Генриха то терпели поражение, то одерживали малоубедительные победы. При этом Григорий VII выжидал, на чью сторону встать. В 1080 г. антикороль Рудольф одержал победу у Наумбурга, однако скончался от ран. Тогда папа вторично повторил процедуру отлучения Генриха, что не возымело никакого действия в Германии и Северной Италии. Наоборот, в том же году на синоде в Бриксене Гильдебрандт был объявлен смещенным и проведено избрание нового папы — Климента III.
Невзирая на продолжающийся мятеж в Саксонии и Тюрингии, в 1081 г. Генрих IV с небольшим войском из швабских министериалов отправился в Италию, где Григорий VII вновь потребовал от короля публичного покаяния в духе Каноссы. В Германии саксонская знать выбрала себе королем графа Германа Люксембургского, который, не будучи в силах подчинить Южную Германию, вернулся в 1083 г. в Саксонию. В этом же году Генрих IV занял Рим; Григорий VII, укрывшись в замке св. Ангела, еще раз отлучил его и папу Климента III. В марте 1084 г. Генрих IV был, наконец, коронован императором. Папа Григорий призвал на помощь норманнов, которые освободили папу и страшно разграбили Рим. Понимая свою долю ответственности, Гильдебрандт убыл из Рима вместе с норманнами и умер в Салерно в 1085 г.
Генрих IV вернулся в 1084 г. в охваченную войной Германию, которую удалось усмирить только к 1090 г. В Италии в отсутствие императора шла борьба разных пап друг с другом. В 1088 г. клюнийская партия избрала папой Урбана II, искусная дипломатия которого поставила власть Генриха IV в Ломбардии в критическое положение. Генрих вновь двинулся в Италию, где с переменным успехом воевал в 1090-1092 гг. Новый мятеж в Германии, новый антикороль заставили императора вернуться в Германию.
Бесконечные междоусобицы в Италии и Германии вызвали усталость от породивших их причин. В Италии Урбан II на Клермонском соборе в 1095 г. сумел возглавить и отчетливо озвучить идею крестовых походов. В Германии Генрих IV всячески содействовал возрожденной концепции «Божьего мира», столь желанной городам, министериалам, крестьянству и низшему клиру. И хотя на рейхстаге в Майнце в 1103 г. принимается решение об «общем мире» по всей стране, предусматривавшее жесткие санкции за нарушение имущественной и личной безопасности всего населения, это не остановило распри в стране.