Германский император постоянно должен был бороться со стремлениями племенных герцогов к самостоятельности. Печальное время детства и молодости Генриха еще более усилило княжевластье. Последующие попытки короля смирить гнездо недовольных, Саксонию, постройкой крепких замков с надежными гарнизонами привели только к образованию обширного заговора, тайным главой которого явился шурин Генриха – Рудольф, герцог Швабский. Пламя мятежа быстро охватило почти всю Германию и побудило короля, желавшего покончить с внутренними врагами, искать примирения с папой, которому он отправил смиренное письмо, полное выражений покорности и раскаяния в общении с отлученными Александром II советниками и поддержке, оказанной миланцам. Григорий и сам склонен был к сближению с германским королем, так как норманны, с которыми у папы вышло крупное столкновение из-за церковных владений, заняли угрожающую позицию; вышедшая было за Готфрида Горбатого, Герцога Лотарингского (брак был обусловлен чисто политическими соображениями), Матильда, наставляемая папой “побороть в себе греховные стремления”, оставила мужа и старалась укрепить хорошие отношения между папой и своим родственником, германским королем. В этом же направлении действовала мать Генриха, Агнесса, и его крестный отец, клюнийский аббат Гуго. Все они подавали папе надежду на послушание еще молодого и неопытного короля советам и наставлениям Григория, который и сам готов был взять на себя роль его духовного отца и руководителя: “Если хорошие качества, – пишет папа, – благочестивая жизнь и искреннее религиозное чувство любого частного лица и незначительного князя служат к чести и пользе святой церкви, то тем большее значение имеют эти свойства у того, кто является главой мирян, королем и, по милости Божией, будущим римским императором”. В силу таких соображений Григорий отправил Генриху письмо, где просил не начинать братоубийственной войны до прибытия римских легатов, которые должны были произвести расследование и помочь правой стороне. Но в то же время папа написал и мятежникам, обещая содействовать им в случае их правоты. Король обиделся на то, что его поставили на одну доску с крамольниками и вмешивались во внутренние дела его королевства. Чтобы поправить дело, Григорий отправил в Германию мать Генриха и нескольких епископов. Они должны были содействовать прекращению неурядиц и проведению церковных преобразований. Король встретил посольство в Нюрнберге при значительном стечении духовенства и народа, принес покаяние за свое общение с отлученными: босиком и в грубой одежде вышел он навстречу послам, пал пред ними на колени и громко Исповедал грех свой, обещая исправиться и исполнять желания апостольского наместника. По совершении покаяния послы приступили было к созыванию собора для обнародования постановлений последнего (1074) римского собора. Но, несмотря на содействие Генриха, им не удалось осуществить свое намерение. Оно разбилось о противодействие германских епископов, заявивших, что легаты не смеют собирать собор в Германии помимо примаса немецкой церкви. Произошли бурные пререкания, и в конце концов послы возвратились домой ни с чем: мысль Григория о подчинении немецкой церкви Риму осталась неосуществленной.