Оппозиция, которая сформировалась в Германии в отсутствие императора, представляла особую опасность еще и потому, что архиепископ Филипп Кёльнский пытался войти в сношения с Францией. Враждебную позицию занял также король Кнут VI Датский, чью сестру Фридрих I из-за неуплаты приданого, обещанного к ее свадьбе с Фридрихом Швабским, отослал обратно в Данию. Поэтому большим успехом императора было то, что ему удалось уже на рейхстаге в Гельнхаузене в ноябре 1186 года изолировать Филиппа Кёльнского. Большая часть немецкого епископата встала на его сторону. Император воспользовался также противостоянием Англии и Франции, чтобы в мае 1187 года заключить союз с Филиппом II Августом, который с 1180 года правил Францией и хотел освободиться из окружения англо-норманнской Анжуйской державы. Это лишило Филиппа Кёльнского внешнеполитической поддержки и вынудило его, наконец, в марте 1188 года, подчиниться. Еще раньше, 19 октября 1187 года, уже поставленный дипломатией Фридриха I в безвыходное положение, скончался Урбан III. После короткого понтификата примирительно настроенного Григория VIII кардиналами был избран на папский престол Климент III (1187–1191) — личность, все усилия которой были направлены на достижение мира с империей. Трирский вопрос был разрешен возведением на место обоих раннее избранных архиепископов королевского канцлера Иоганнеса. Основной темой переговоров с курией оставался вопрос о Папской области, все еще оккупированной Генрихом VI. По Страсбургскому договору от апреля 1189 года она была возвращена папе, но с условием, что тот венчает Генриха на императорский трон. Было отложено решение принципиального территориального спора о владениях Матильды. Папа отказался от выполнения условий Венецианского мира, а император — от категорического требования признать свой владельческий статус. Тем самым он получил земли в фактическое распоряжение.
На мирные переговоры тех лет оказывали сильное влияние последние события в Палестине. Турки-сельджуки под предводительством султана Саладина возобновили нападения на государства крестоносцев. В июле 1187 года они разбили рыцарское войско христиан при Хаттине на Генисаретском озере и еще в октябре того же года завоевали Иерусалим и другие святые места христиан. Известия об этих событиях с новой силой разожгли движение крестоносцев в Западной Европе. Во главе его встал сам император. На Майнцском рейхстаге в марте 1188 года, который прямо был назван «хофтагом Иисуса Христа», крест приняли Фридрих I, его старший сын, тоже Фридрих (герцог Швабский), и многие представители знати. Начало крестового похода было назначено на весну 1189 года. Если Фридрих после долгих раздумий решился на такой шаг, то он сделал это не только из религиозного рвения, но и из убежденности, что императору как главе христианского мира вменяется в обязанность поднять меч против неверных. Освобождение Гроба Господня должно было стать венцом всей его жизни.
Однако предпосылкой для крестового похода оставалось все-таки окончательное установление мира в Германии. В августе на хофтаге в Госларе император предложил Генриху Льву либо за свой счет принять участие в крестовом походе, либо окончательно отказаться от части своих владений, при условии возвращения остальных, либо снова на три года отправиться в изгнание. Генрих решился на последнее и в апреле 1189 года вновь отбыл в Англию. В отсутствие императора регентом в Германии был назначен Генрих VI. Его младший брат Конрад, женившийся год назад на Беренгарии, дочери короля Кастилии Альфонса VIII, получил роттенбургские владения Штауфенов, четвертый сын императора Оттон — Бургундию; младший сын Филипп был определен в духовное звание, став уже к тому времени пробстом собора в Ахене. Крест в 1188 году приняли также Генрих II Английский и Филипп II Французский. Однако возобновление англо-французского военного конфликта, который был улажен только летом 1189 года, незадолго до смерти Генриха II, помешало англо-французскому участию в крестоносном предприятии. Только в 1190 году король Ричард Львиное Сердце, сын и наследник Генриха II, и король Филипп начали крестовый поход.