При Османе начались первые волнения в новых провинциях Халифата — Египте и Ираке, активизировалась внутренняя оппозиция, состоявшая из аскетически настроенных мусульман, обвинявших халифа в отступлении от образа жизни Мухаммада. Они ставили ему в вину замену старой мечети в Медине на новую каменную и даже кодификацию Корана, из-за которой было велено уничтожить все записи, сделанные частными лицами еще при жизни Мухаммада. В начале 656 г. сотни недовольных из Египта, Куфы и Басры прибыли в Медину, чтобы изложить халифу свои жалобы и требования. В мае того же года под их давлением Осман подписал обязательство свято блюсти мусульманский закон и положить конец финансовым злоупотреблениям. Одновременно с этим он тайно распорядился наказать предводителей тех отрядов, которые прибыли из провинций. Один из гонцов, отвозивший такое распоряжение наместнику Египта, был задержан, после чего несколько сотен египтян вернулись в Медину и осадили дом Османа. 17 июня 656 г. толпа осаждавших ворвалась внутрь, требуя, чтобы он отказался от власти. Но халиф, застигнутый нападавшими за чтением Корана, на этот раз проявил твердость характера и был убит.
Убийство халифа потрясло всех мусульман. После того как следующим халифом был выбран Али ибн Абу Талиб (656–661) — двоюродный брат Мухаммада, воспитывавшийся в его доме и женатый на его дочери Фатиме, участник почти всех военных походов Мухаммада и блестящий оратор, — не все согласились с таким решением. Некоторые подозревали Али в причастности к убийству и отказались признать его халифом, требуя отомстить за кровь Османа. Единая прежде мусульманская община раскололась на партию Али, или шиитов (араб, ши‘а Али — «партия Али»), и остальных мусульман, суннитов, которых возглавил двоюродный брат Османа Муавия, наместник Сирии и Палестины. Борьба Али с Муавией приобрела затяжной характер и положила начало первой гражданской войне в Халифате (656–661), когда Али владел Мединой, а также Куфой и Басрой в Ираке, а Муавия — Сирией и Палестиной.
В стане шиитов очень быстро сформировалась внутренняя оппозиция, местом сбора которой служила Мекка. Во главе ее встали сподвижники Мухаммада Талха и аз-Зубайр, которые при выборе халифа также находились среди претендентов на верховную власть и держали обиду на Али за то, что, став халифом, он перестал с ними считаться. Их поддержала Айша, любимая жена Мухаммада, которая после его смерти пыталась играть политическую роль в качестве хранительницы и толковательницы его заветов.
В конце 656 г. Талха, аз-Зубайр и их сторонники подняли мятеж и захватили город Басру. Одновременно против Али выступил Муавия, обвинив его в причастности к убийству Османа. В сражении под Басрой Али удалось разбить малочисленное войско Талхи и аз-Зубайра. Это сражение получило название «Битвы у верблюда», так как решающая схватка велась вокруг верблюда, на котором сидела Айша, а после того, как раненый верблюд упал, опрокинув паланкин с Айшей, сражение быстро закончилось.
В 656 г. Али перенес свою резиденцию из Медины в Куфу и начал борьбу с сирийцами. В июне-июле 657 г. при Сиффине (к западу от Ракки, неподалеку от правого берега Евфрата), произошло крупное сражение. Войска Али почти разбили силы противника, однако полководец Муавии Амр ибн ал-Ас пошел на хитрость, приказав своим воинам прикрепить на верхушки копий свитки Корана. Набожный Али прекратил битву, а Амр ибн ал-Ас предложил решить спор переговорами между сторонами и соглашением о третейском суде. Суд завершился в пользу Муавии — он добился провозглашения себя халифом в июле 660 г. после юридического осуждения убийства Османа. Али не признал такое решение суда справедливым, и усобицы продолжились вплоть до его гибели в 661 г.
Непоследовательность в борьбе с Муавией привела к отходу от Али части его сторонников (около 12 тыс. чел.), образовавших новую религиозно-политическую группировку «хариджитов» (букв, «ушедшие», «выделившиеся»). В 657 г. хариджиты восстали против Али, провозгласив, что «Суд принадлежит только Аллаху». Хариджиты отражали взгляды рядовых мусульман, в основном новообращенных, отстаивавших принципы равенства всех мусульман. Хариджиты сыграли большую роль в истории исламской мысли, так как исповедуемые ими принципы породили системы, которым предстояло развиться в последующие годы. Главный тезис первоначального хариджизма состоял в том, что община включает только верующих, неукоснительно повинующихся закону ислама, и исключает (вплоть до физического истребления) всех прочих. Практически это было безоговорочное осуждение многих сподвижников — Османа, Талхи, аз-Зубайра и Али. Отсюда вытекало, что и сам глава общины должен строго повиноваться закону и в случае отклонения от него лишаться прав и подлежать смерти, а халифат должен переходить к лучшему, а не наследоваться членом какой-либо семьи или клана. Халифат, с точки зрения хариджитов, должен быть исключительно выборным, и ни происхождение, ни раса не могут быть препятствием назначению самого достойного.