Мятежники, представлявшие в городе значительную политическую силу, были заинтересованы в том, чтобы уйти от ответственности за убийство халифа Усмана и старались привести к власти человека, которым бы они могли манипулировать, преследуя собственные интересы. Они хотели добиться созыва совета мухаджиров и ансаров для избрания нового халифа и, оказав на них давление, избрать халифом удобного им человека. Но между ними начались споры относительно претендента на власть. Поскольку мятежники были представлены разными регионами, египтяне хотели видеть халифом Али ибн Абу Талиба, басрийцы — Тальху ибн Убайдуллу, а куфийцы — аз-Зубайра ибн аль-Аввама. Однако эти сподвижники Пророка отказались возглавить государство. Тогда мятежники обратились с тем же предложением к двум другим влиятельным сподвижникам — Сааду ибн Абу Ваккасу и Абдулле ибн Умару. Они тоже категорически отказались принять их предложение.
В конечном итоге, они сошлись на кандидатуре Али ибн Абу Талиба и еще раз предложили ему прийти к власти, но Али вторично ответил отказом.
Опасаясь того, что приближающаяся армия войдет в Медину и подавит мятеж, бунтовщики пригрозили устроить в городе резню и перебить всех сподвижников Пророка, включая Али и аз-Зубайра, в случае, если мединцы не изберут нового халифа. Положение осложнялось с каждым днем, поэтому горожане и сподвижники Пророка обратились к Али с просьбой согласиться возглавить Халифат. Однако Али снова ответил отказом, ссылаясь на сложность создавшейся обстановки. Лишь после настойчивых обращений он дал свое согласие стать четвертым халифом. Будучи умным и влиятельным человеком, он понял, что в противном случае события могут развиваться по еще более опасному сценарию и грозить непредсказуемыми потрясениями для мусульманского общества. На следующий день народ присягнул Али. В числе присягавших в тот день были Тальха и аз-Зубайр. Это произошло в конце месяца Зульхиджа 35 года хиджры.
Став халифом, Али решил, прежде всего, вывести из Медины бунтовщиков. Они уже добились избрания нового халифа и начали требовать смещения наместников, назначенных Усманом. Только в этом случае они могли удалиться из города, посчитав свою миссию выполненной. В противном случае, они угрожали очередной дестабилизацией политической обстановки в Халифате.
У Али, как у нового халифа, тоже были планы кадровой перестановки наместников провинций. Поэтому он принял решение сменить власть в провинциях, несмотря на то, что некоторые сподвижники советовали ему повременить с этим. Безусловно, как глава государства, он был вправе отозвать одних и назначить других наместников.
Али назначил наместником Басры Усмана ибн Хунайфа, наместником Йемена — Убайдуллу ибн Аббаса, наместником Египта — Кайса ибн Саада ибн Убабу. Наместника Куфы Абу Мусу аль-Ашари он оставил на своем месте по причине того, что тот сразу привел к присяге новому халифу все население провинции. С Меккой возникли осложнения. Несмотря на то, что халиф Али назначил туда наместником Халида ибн аль-Аса ибн Хишама ибн Мугиру аль-Махзуми, мекканцы отказались его признавать. В городе собралась часть мединцев, некоторые снятые с должностей наместники провинций и представители рода Омейядов. Они выразили недовольство происходившими в государстве процессами. Вскоре сюда, с ведома Али, приехали Тальха и аз-Зубайр. Таким образом, Мекка превратилась в один из центров оппозиции новому халифу и оставалась без представителя центральной власти. Лишь позднее туда был назначен наместником Кусам ибн Аббас.
Другое серьезное сопротивление халиф Али встретил в лице правителя Сирии Муавии ибн Абу Суфьяна из рода Омейядов, который к тому времени превратился в достаточно влиятельного и популярного человека. Он не присягнул Али, несмотря на то, что халиф предлагал это сделать это. Муавия решил выждать и посмотреть, каков будет расклад сил между Али и восставшими бунтовщиками в Медине. Тогда Али сместил Муавию и послал туда наместником Сахля ибн Хунайфа, однако его не впустили в провинцию.