Следующим халифом стал приемный сын Мухаммеда Али – Али ибн Абу Талиб. Последующие мусульманские историки рисуют картину его избрания благостной, но, скорее всего, состоялось оно не в день убийства Османа, и даже не на утро следующего дня, а примерно через неделю. Всю эту неделю Медина кипела, никто не выходил на улицу без оружия, и даже убитого халифа похоронили с большими проблемами: несогласные, утверждая, что Осман отправится прямо в ад, не давали читать над ним молитвы, пинали его труп ногами, и в итоге Осман был похоронен не по правилам, а просто засыпан землей.
Многие видные люди Медины, в том числе и старые сподвижники Пророка, отказались присягать Али. Впрочем, после присяги они не оказывали никакого противодействия новому халифу, хотя и оказались через несколько лет в стане его врагов.
Внешность Али ибн Абу Талиба, многократно описанная, была весьма примечательной. Четвертому халифу на момент принятия присяги было около 57 лет, он был очень смугл, весьма толст и обладал роскошной бородой, закрывавшей его грудь от плеча до плеча. Большую лысину окаймляли седые волосы, свисавшие на спину подобно львиной гриве. Али имел от восьми жен девять сыновей, а также в его семье было еще и три приемных сына. Количество дочерей обозначить сложнее, но, по всей видимости, их было около пятнадцати.
Былая его воинственность сошла на нет, и он был весьма мирным семейным человеком. Али не принимал многие перемены в мусульманском обществе, появившиеся после смерти Пророка. Это добавляло ему популярности среди несогласных и беднейших слоев, как и то, что он никогда не занимал никаких административных должностей.
Кое-как Али удалось навести порядок в городе: он заставил удалиться большинство кочевников и провел расследование убийства Османа. Но найти его реальных убийц вряд ли было возможно, и к тому же опасно. Часть негодующих египтян, возглавляемая Муавийем ибн Худайджем, все равно Али не признала, отказалась присягать и ушла в район Аль-Бахнаса. Из Медины был выслан отряд для «усмирения», но он потерпел неудачу. Возглавляемые же Муавийем отошли дальше и через некоторое время нашли пристанище в Харбите (округ восточнее Александрии, примерно в дне пути).
Затем Али занялся налаживанием отношений с провинциями, особенно с Куфой, и даже назначил туда нового наместника. Однако с половины пути тот вернулся в Медину: Куфа хотела остаться под старым управляющим. Между тем было не все спокойно и в самой Медине: Али раздал поровну деньги, найденные в доме у Османа, и многим видным мухаджирам показалось обидно, что их сравняли с бывшими рабами. Особенно возмущались Талха и аз-Зубайр, и Али их вызвал к себе, напомнив про присягу. Те попытались получить какие-либо наместничества, но Али опасался, что вдали от него они станут слишком самостоятельными. Разговор так ничем и не кончился.
Еще одним источником смуты стал Абдаллах ибн Омар, отказавшийся от присяги, считая, что выборы Али были проведены неправильно. После ссоры с новым халифом сын старого счел за благо уехать из города и осесть в Мекке. Вскоре Мекка стала некоей столицей оппозиции, и туда начали стекаться все недовольные правлением Али и оставшимся неотмщенным убийством Османа. Видной фигурой среди них оказалась Айша, вдова Пророка, которая издавна недолюбливала приемного сына своего мужа. Еще одним противником Али стал Муавийя, который не только не спешил принимать присягу, несмотря на призывы нового халифа, но и выставил в мечети Дамаска окровавленную одежду Османа, присланную ему вдовой Наилей. Проповедники говорили о необходимости отмщения вероломного убийства, и Сирия готовилась к походу на Медину. В августе, в ответ на призывы принять присягу, Муавийя отправил Али письмо, велев гонцу, по прибытии в Медину, держать свиток так, чтобы любой разглядел надпись на нем: «От Муавийи ибн Абу Суфийана Али ибн Абу Талибу». Уже в этом содержалось оскорбление: вынесенное в начало имя Муавийи говорило о том, что он ставит себя выше Али, и к тому же, судя по обращению, халифом он его не считал. Когда посланец прошел с письмом по улицам Медины и Али сломал печать, то внутри вместо текста обнаружил лишь традиционную фразу начала записей: «Во имя Аллаха, милостивого, милосердного».
Это было уже третьим оскорблением, и Али хотел немедленно послать в Сирию войска, но видные мусульмане его не поддержали, хотя Али и говорил, что «смута как огонь» и уничтожать ее надо в самом начале. Вскоре Талха и аз-Зубайр попросили у Али позволения на малый хадж, и он, прекрасно понимая, что они просто хотят уехать в Мекку, был все равно вынужден их отпустить.