В 656 году недовольство достигло апогея. Мединцы спровоцировали сопротивление провинциальных городов-гарнизонов, в частности в Куфе, где в итоге отказались подчиняться наместнику Усмана. Группу арабских солдат, вернувшихся из Египта, чтобы потребовать защиты своих попранных прав, сторонники Усмана уговорили вернуться обратно, дав ложное обещание восстановить справедливость. Когда же гости узнали, что вместо этого были казнены их лидеры, они, негодуя, вернулись. После череды переговоров и взаимных уловок, в которых видные семьи Медины, не принадлежавшие к клану Омейядов, сохраняли нейтралитет, бунтовщики ворвались в дом Усмана и убили его. (Его силу, равно как силу Абу-Бакра и Омара, обеспечивал только религиозный авторитет; у него не было даже личного стража.)
После этого через 20 с лишним лет после смерти Мухаммада начался пятилетний период фитны, буквально «соблазнов» или «испытаний», гражданских войн за власть в мусульманской общине и за огромные захваченные ей территории. У Усмана было много противников в Медине среди сахабитов — сподвижников Мухаммада, которые почти ничего не делали, чтобы контролировать бунтующих солдат. Теперь они ссорились из-за добычи. Бунтовщики, а с ними большинство мединцев, объявили новым халифом Али, который после небольшой паузы согласился принять трон. Любимая жена Мухаммада, Айша и два его самых известных сподвижника среди мекканских мухаджирун потребовали отомстить за Усмана и обвинили Али в том, что тот не наказал бунтовщиков, а теперь его самых рьяных сторонников за убийство. Бунтовщики же утверждали, что Усман был убит справедливо — за обман и правление, не соответствующее законам Корана, а посему о мести не может быть и речи. Али пришлось согласиться с этим аргументом. Он переехал в Куфу, полную его сторонников, а его противники — в Басру, так как вся военная мощь сосредоточилась в этих провинциях. Одержав победу в последовавшей затем войне, Али сделал Куфу своей столицей. Ему удалось посадить наместниками в большинстве провинций своих единомышленников; главная же его сила находилась в Ираке. Куфа являлась главным мусульманским фортом в Саваде — той части Месопотамской долины, где вложения в ирригацию достигли пика, а доходы Сасаниды удерживали у себя исключительно для государственных нужд. Таким образом, Савад был, пожалуй, самой прибыльной частью фея. Али же распределял военным то, что скапливалось в казне, но до раздела Савада у него руки не дошли, даже если он намеревался так поступить.
Однако Али не получил признания в Сирии, и Муавийя ибн Абу-Суфьян, как тамошний правитель, подхватил призыв к отмщению за Усмана, своего двоюродного брата. Али отправился с войском к Сирии, но в 657 году многочисленные стычки и переговоры в Сиффине, в верховьях Евфрата, долго ни к чему не приводили, пока люди Муавийи (которым, согласно рассказам иракцев, грозило поражение), поместив Коран на острие копий, не пришли к Али с просьбой рассудить их согласно слову Бога. Многие из сторонников Али одобрили этот способ окончания войны между мусульманами и заставили его согласиться. Большое число ведущих сподвижников Мухаммада сохраняли «нейтралитет», отказываясь встать на ту или иную сторону в ссорах мусульман. Теперь Али был вынужден выбрать своим представителем одного из них — Абу-Мусу аль-Ашари, которого куфанийцы избрали своим правителем в пику Усману, но который не числился в друзьях Али.
Между тем некоторые из воинов Али пожалели, что на усмотрение нейтрально настроенных людей отдан вопрос — вина Усмана — который, как им казалось, уже прояснен положениями Корана. Когда Али отказался присоединиться к ним и решил придерживаться решения о суде, они ушли от него и разбили собственный лагерь, сначала в Харуре близ Куфы. Среди них были его самые набожные последователи и, в частности, многие чтецы Корана; они обвиняли Али в компромиссе со сторонниками несправедливости и в предательстве их доверия и надежд на то, что он восстановит справедливость, нарушенную Усманом. Эти экстремисты, шурат, чаще всего (хоть и менее точно) называемые хариджитами («отступниками» или «мятежниками»), выбрали командира, не зависевшего от остальных мусульман. Большинство членов первой группы, отколовшись, были разбиты армией Али, но их движение распространилось, подхватив самые бескомпромиссные требования равенства и справедливости, сформулированные противниками Усмана.
Когда судейство все же состоялось в 658 году, позиция бунтовщиков была публично осуждена, а вместе с ней подразумевалось осуждение и самого Али. Он не согласился с решением (но не раскаялся в том, что ждал его, и поэтому не помирился с хариджитами, которые теперь считали, что им движет только стремление к личной власти) и попытался снова выступить в поход против Сирии. Но суровость в отношении хариджитов дискредитировала его даже в глазах куфанцев, поэтому часто собирать там армию ему не удавалось. В ходе последовавших за этим бессмысленных войн Муавийя шаг за шагом продвигался вперед, для начала взяв Египет.