Сделки, приведшие к подобному поступку 1 ноября 1076 г., приняли новый оборот, когда высшая знать, доселе осторожная, пригласила папу на собрание 2 января следующего года в Аугсбург и обязалась не признавать Генриха IV, если он не получит отпущения грехов на протяжении года после осуждения. Так вырисовывался союз высокой аристократии, как всегда беспокойной, и папства, чью силу внезапно показал Григорий VII. Следовало любой ценой избежать соединения усилий этих двух возможных союзников. Генрих IV решил переправиться в Италию, чтобы у папы не было причин поехать в Германию. Он прошел через Альпы в лютую стужу и с 25 по 27 января, босой, как кающийся грешник, взывал о прощении к Григорию VII, пребывавшему тогда у графини Матильды в замке Каносса, сооруженном на отвесной скале среди заснеженных вершин Апеннин. Папа не мог не предоставить помилование, о котором просил Генрих и за которое выступал его крестный, настоятель монастыря Клюни. Взамен понтифик получил согласие не препятствовать своему приезду в Германию и самому разрешить спор между сувереном и князьями. Значение поступка, на который папа все же пошел, остается неясным. Аннулировалось ли решение о низложении отпущением грехов? После встречи в Каноссе Григорий объявил, что Генрих IV есть
Борьба за главенство между «двумя половинами Господа» вошла в новую фазу. 13 марта 1077 г. три архиепископа Германии присоединились к высшей знати и низложили Генриха IV, поставив вместо него швабского герцога Рудольфа Райнфельдена, заявившего, что он готов четко придерживаться запрета на процедуры с малейшим намеком на симонию. Таким образом, аристократия сделала еще один шаг навстречу папскому престолу, но Григорий VII не сразу принял протянутую ему руку помощи. Его противник в 1080 г. предъявил требование провозгласить отлучение Рудольфа от церкви, данное высказывание имело угрожающий тон, в добавку содержало обещание низложения. Незамедлительно последовал резкий ответ: в Каноссе грешник получил отпущение своих грехов, но король остался низвергнут. Поскольку грешник упорствовал в своем заблуждении, он снова должен быть отлучен. Но совершая такой ход с политическим расчетом, Григорий допустил промах. Столь резкий поступок отвернул от него многих епископов и даже несколько кардиналов. На епископском синоде в Бриксене в июне 1080 г. они низложили Григория, а Генрих, ссылаясь на свой титул государя, назначил на пустующий престол преемников Петра архиепископа Равенны Гвиберта. К существующему антикоролю добавился антипапа. Свидетельство епископа из Оснабрюка предельно четкое: у каждой стороны ненависть взяла верх над разумом.
Генрих IV одержал достаточно побед в этой беспощадной войне. Рудольф одержал победу над имперскими войсками в битве у Вайсе-Эльстере 15 октября 1080 г., но там же его настигла смерть, и недруги, узнав, что ему отсекли правую руку, сказали, что сам Господь покарал лжеприсяжника. Королю хватило сил вскоре дойти к южной части Италии. Там он одержал победу над армией графини Матильды и с первой попытки обосновался в Риме в 1083 г.; Гвиберт стал Климентом III и сразу же короновал Генриха IV императором на праздник Пасхи в 1084 г. Григорий VII нашел пристанище в замке Св. Ангела и был освобожден нормандцами, но освободители устроили такую резню, что папа, внезапно потерявший свою популярность, был вынужден вместе с ними покинуть град. В их окружении он, вероятно, и умер 25 мая следующего года. Но и Генрих IV, даже став императором, не одержал окончательной победы над своими противниками. Беспорядок в империи достиг критической точки. В одной из хроник Аугсбурга приводится сравнение современников с персонажами комедии Платона, где каждый герой имел двойника: «два папы, два короля, два епископа, два герцога…».