Тем временем Генрих вернулся в Германию, которую продолжали раздирать междоусобия. В его отсутствие враждебные князья избрали королём графа Люцельбургского Германа. С приездом императора война возобновилась с новой силой. Всякий порядок нарушился; повсюду владычествовало беззаконие; буйные войска грабили, опустошали, резали, и никто не смел требовать от них дисциплины или уважения к закону. В августе 1086 г. Генрих сразился с мятежниками у Плейхфельда, неподалеку от Вюр-цбурга. Сам император бился очень храбро, но кёльнцы и утрёхтцы отступили в самом начале битвы. Вслед за ними обратились в бегство рыцари и пехота, так что Генрих в очередной раз потерпел полное поражение. В том же году Герман, рассорившись со своими союзниками и утомившись войной, сложил с себя королевский сан. После этого самым грозным противником императора сделался молодой маркграф Мейсенский Экберт. В декабре 1088 г. он нанес Генриху тяжелое поражение близ замка Глейхен в Тюрингии. Император бежал и едва успел укрыться в Регенсбурге. Однако спустя несколько месяцев Экберт сам погиб в бою. Столь же ожесточённая война шла в Италии, где приверженцы Григория избрали в папы аббата Монте-Кассинского Дезидерия, принявшего имя Виктора III. Ему оказывала поддержку маркграфиня Матильда. Сторонники Генриха выступали вместе с Климентом. Оба папы предали друг друга взаимному отлучению, так что весь западный христианский мир оказался расколотым на два лагеря. После смерти Виктора в 1088 г. его сторонники избрали папой Оттона, епископа Остийского, принявшего имя Урбана II. Это был достойный приемник Григория, полностью разделявший его идеи. Он немедленно предал проклятию и отлучению Генриха и Климента III, в то время владевшего Римом. Ему удалось устроить в 1089 г. брак между двумя заклятыми врагами Генриха – маркграфиней Матильдой и графом Вельфом, сыном герцога Баварского. Известие об этом сильно встревожило Генриха и заставило его совершить второй поход в Италию.
В марте 1090 г. император перешел через Альпы и начал войну против Матильды. Одиннадцать месяцев немцы осаждали Мантую, в которой заперся граф Вельф. На Пасху 1091 г. изнуренные голодом горожане открыли перед императором ворота. Вельф едва успел уйти. Генрих внезапно напал на его брата Гуго, охранявшего низовье По, и нанес ему тяжёлый урон в сражении у Триконтои. Узнав об этом, Урбан бежал на юг страны под защиту норманнов. Генрих вошёл в среднюю Италию и осадил Монтевио. Осаждённые искусно оборонялись, сделали вылазку и сожгли у императора все осадные машины. Тогда он пошел на Каноссу и в октябре 1092 г. потерпел под стенами этого замка новое поражение. Матильда и её вассалы приободрились. К довершению несчастья, раздор возник в собственной семье императора. Женившись через два года после смерти первой жены на русской княжне Евпраксии, Генрих стал вскоре подозревать её в супружеской неверности и даже в связи со своим старшим сыном Конрадом. Император начал обращаться с женой очень дурно, отнял у неё подобающие почести и держал её в такой строгости, что это походило на тюремное заключение. Когда же Конрад вступился за мачеху, отец вспылил и обвинил его в том, что он не его сын, а сын одного вельможи, на которого юноша действительно был очень похож. Враги немедленно воспользовались размолвкой между отцом и сыном. Матильда овладела доверием Конрада и склонила его на свою сторону. Празднуя в Павии Пасху 1093 г., Генрих узнал, что сын восстал против него и соединился с его противниками. Ломбардские города Милан, Кремона, Лоди и Пьяченца отложились от Генриха и приняли сторону его сына. Архиепископ Миланский Ансельм короновал Конрада королём итальянским. Генрих упал духом, заперся в замке близ Вероны и в порыве отчаяния хотел заколоться; друзья едва удержали его от самоубийства. Вскоре из-под стражи к Матильде бежала и жена Генриха Евпраксия. На Констанском соборе она объявила, что муж принуждал её к прелюбодеянию, чтобы тем легче было потом с ней развестись. Священники приняли сторону императрицы, объявили её брак расторгнутым и позволили ей вернуться на родину в Киев. С помощью норманнов и Матильды Урбан вернулся в Рим, а Климент бежал из него. Благодаря подготовке к Первому крестовому походу, авторитет Урбана поднялся очень высоко. Климент потерял всякое значение и должен был удалиться в Равенну.