Григорий 12 июля 1227 г. благодарил Конрада за преследование еретиков, уполномочивал его избрать себе помощников и предпринять с их помощью розыски всех, кого коснулась зараза ереси. Инквизиция была только еще в проекте, но это было полномочие общего инквизитора на всю Германию. Одним из мотивов этого назначения являлось желание поставить папский авторитет на место епископской юрисдикции, которая до этого времена вела местные и спорадические преследования.
Через восемь дней, 20 июня, Конрад получил новый указ, значительно увеличивавший его власть и влияние. Германская Церковь была так же развращена и испорчена, как и соседние, и до этого времени все попытки исправить ее были безуспешны. Папа поручил Конраду произвести внутреннюю реформу германской Церкви и добиться исполнения канонов, изданных кардиналом-легатом Чинтано на национальном соборе в Майнце в 1225 г. Особенное внимание ему приказывали обратить на реформу монастырей.
Вооруженный этими почти неограниченными полномочиями, Конрад фактически стал первым духовным лицом в Германии. Не сохранилось свидетельств выполнения им своих инквизиторских обязанностей; и единственной реформою, о которой дошло упоминание, было переустройство женского монастыря в Нордгаузене: он изгнал оттуда монахинь, ведших дурную жизнь. Но преследование нуждалось в его услугах. Император Фридрих был 29 сентября 1227 г. отлучен от Церкви за то, что не отправился в крестовый поход. Это отлучение вызвало конфликт между Церковью и государством, которым воспользовались еретики; повсюду проповедовали их миссионеры. В 1229 г. в Страсбурге снова в течение нескольких лет велось преследование вальденцев: много упорных еретиков было сожжено, более покорные подверглись разным наказаниям. В 1231 г. Григорий занялся устройством более действенной системы и 20 июня послал немецким прелатам римские статуты Аннибальдо и свои эдикты, изданные в том же году. В свою очередь еще 2 июня того же года Вормсский сейм упорядочил конфискации и постановил, что аллодиальные земли и движимость идут наследникам, а феодальные земли – сеньору; движимое имущество рабов переходит их господам; Церковь же и преследователи не принимали участия в дележе. Под давлением Григория епископы начали преследования еретиков более активно. Трирский архиепископ произвел розыск и открыл три еретических школы. Он собрал синод, чтобы судить задержанных им лиц, и послал на костер трех мужчин и одну женщину. Она была крайне благочестива; но, подвергнув ее допросу, выяснили, что она принадлежала к секте луцифериан. Однако результаты не соответствовали желаниям Григория. В октябре 1231 г. он заставлял Конрада приступить к исполнению обязанности инквизитора, хвалил его успехи в уничтожении еретиков. Конраду были предоставлены самые широкие права; он мог даже не выслушивать объяснения, а только произносить окончательное и безапелляционное решение.
Он мог требовать помощи светской власти, мог отлучать от Церкви покровителей ереси и накладывать интердикт на целые провинции. Он должен был подчиняться только декретам Св. Престола. Еретики, которые покаятся, должны были получать прощение, но их надлежало подвергать пожизненному тюремному заключению. Много подозрительных людей было арестовано в самом Марбурге – рыцарей, священников и высокопоставленных лиц; одни из них отреклись, другие были сожжены. В 1232 г. поездка в Эрфурт дала Конраду возможность сжечь еще четыре жертвы. Эти результаты не оправдали надежд Григория. Вследствие этого с последних месяцев 1231 г. до конца 1232 г. разные доминиканские конгрегации получали указы, уполномочивавшие их членов приняться за преследования. Договор в Чепрано в 1230 г. установил мир между папством и империей, и Фридрих II в марте 1232 г. обнародовал в Равенне статут ко всем прелатам и сеньорам империи; он повелевал им деятельно помогать уничтожению ереси и брал под особое покровительство нищенствующих, которых папа пошлет для этого дела. Фридрих приказал светским властям преследовать всякого, на кого укажут им инквизиторы, держать арестованных до осуждения в надежных местах, карать смертью всех, кто будет признан еретиками или их соумышленниками, и подвергать пожизненному тюремному заключению всех раскаявшихся и отрекшихся от ереси. Смертной казни подлежали также и рецидивисты; их потомки до второго поколения объявлялись не имеющими права владеть феодальной землей или занимать общественные должности.