Принятие этой новой доктрины имело в Риме самые серьезные последствия. Лев III издал свой первый указ против икон в 725 или 726 г. Папа Григорий II немедленно предал этот указ анафеме. С самого начала этот конфликт носил исключительно острый характер. На заявление императора о своем праве управлять церковью папа объявил о независимости церкви от императорской власти, причем сделал это в таких выражениях и в таком тоне, как никто до него не решался. Фактически римская церковь заявила об отделении от Византии. Папа даже бросил открытый вызов императору, призвав всех истинно православных отвергнуть провозглашенную Львом III ересь. Категорически отвергая претензии византийского императора на руководство церковью, папа в то же время упрекнул его в неспособности защитить Италию, пригрозил обратиться к западным государствам за помощью и запретил римлянам платить налоги византийскому императору. Императорские войска в Италии немедленно подняли мятеж, сместили своих командиров и назначили новых; экзарх Павел был убит в ходе возникших беспорядков, а римляне изгнали своего герцога. Вся византийская Италия оказалась охвачена антивизантийским восстанием и была, без всякого сомнения, готова выбрать своего собственного императора в пику византийскому, если бы папа призвал жителей Италии это сделать. Но ни к чему подобному папа призывать не стал. Возможно, он не обратился с подобным призывом, поскольку у него еще сохранялись какие-то крупицы верности Византийской империи; ну а может быть, он просто не хотел иметь рядом с собой в Италии нового императора.
Византийский император, однако, сдаваться не собирался. В Равенну был послан новый экзарх; правда, он был бессилен что-либо сделать, поскольку у него не было войск. Ситуация осложнялась тем, что лангобардские герцоги, управлявшие Сполето и Беневенто, отказались признавать власть короля лангобардов и поддержали папу. У императора оставался один выход: вступить в союз с королем лангобардов Лиутпрандом, который на такой союз согласился, чтобы поставить на место мятежных герцогов.
Благодаря лангобардам византийский экзарх вступил в Рим, и хотя папа по-прежнему выступал против иконоборчества, но политически он был вынужден капитулировать. Папа признал светскую власть византийского императора, но настаивал на том, чтобы тот не вмешивался в церковную жизнь, то есть чтобы церковь была независима от Византии. В 730 г. папа вновь выступил с осуждением очередного иконоборческого указа византийского императора и объявил о том, что патриарх Константинополя потерял право владеть этим титулом. В политической области папа, однако, теперь действовал согласованно с экзархом, который восстановил свою политическую власть без какого-либо сопротивления и противодействия. Провозглашенный в Тоскане император в пику византийскому был убит, а его голову отправили в Византию; Равенна, отразив атаку византийского флота, теперь вновь оказалась в руках византийского наместника.
Григорий II умер в 729 г. Его преемником стал сириец Григорий III; это был последний римский папа, которому для вступления в должность потребовалось утверждение со стороны византийского императора.
Как только новый папа вступил в должность, он немедленно начал борьбу с иконоборчеством. В 731 г. он провел заседание синода, на котором те, кто уничтожал иконы, были отлучены от церкви. Император Византии ответил на это лобовой атакой и вывел из-под юрисдикции Рима все церковные области, расположенные на восточном побережье Адриатического моря (в Иллирии), а также на Сицилии, в Бруттии и Калабрии; все эти епархии были переданы в управление патриарха Константинополя. Император также изъял у церкви ее земельные владения на Сицилии, в Калабрии и Бруттии, которые давали годовой доход в размере 350 фунтов (114,6 кг) золота. Таким образом, для византийского императора папа стал отныне чем-то вроде итальянского епископа. На Востоке папа больше не играл никакой роли ни в церковной иерархии, ни при обсуждении вопросов христианского вероисповедания. Он был просто исключен из восточной церкви. Император Византии сам вывел латинскую церковь из византийского мира.