В 8 году хиджры, после взятия Мекки, против мусульман выступили несколько племен, в числе которых были племена Хавазин и Сакиф. В решающем сражении, мусульмане с большим трудом сумели вырвать победу. В этой битве Али также способствовал победе и уверенно сражался, когда казалось, что мусульмане вот-вот потерпят поражение.
Али был рядом с пророком Мухаммадом до самой его смерти. Когда Абу Бакр был избран первым Праведным халифом, он был занят подготовкой похорон пророка.
Али отличался не только своими боевыми качествами, но и мудростью, и ученостью. Все свои лучшие качества он проявлял и после смерти пророка, всеми силами способствуя укреплению Халифата и развитию мусульманского общества.
В период правления второго Праведного халифа Омара, Али был одним из самых доверенных и приближенных ему людей. Омар часто советовался с ним по различным государственным вопросам и оставлял его вместо себя, если он по каким-то причинам выезжал из Медины. В тот период Али исполнял обязанности верховного кадия (судьи) Халифата. Непосредственно перед своей смертью, Омар назвал Али одним из шести кандидатов на должность главы государства. Однако на Совете "шести" халифом был избран Осман.
В период правления третьего Праведного халифа Османа, Али продолжал свою деятельность в качестве верховного судьи (кади), и был одним из самых доверенных и приближенных людей халифа. В конце правления Османа в Халифате вспыхнул мятеж анархистов. Они прибыли в Мекку и убили его. Али, в период осады дома Османа, всеми доступными ему способами, пытался отвести от него опасность и вел тяжелые переговоры с мятежниками. Он даже отправил двоих своих сыновей Хасана и Хусайна на защиту халифа.
В результате убийства Османа политическое положение в Халифате осложнилось и установилось фактическое безвластие. В этих тяжелых условиях, Али было предложено возглавить государство. Несмотря на то, что он долго отказывался от власти, в конце концов, вынужден был уступить, так как в противном случае ситуация в Халифате могла полностью выйти из-под контроля. Таким образом, в 35/656 году Али стал четвертым Праведным халифом.
Али пришел к власти в самый трудный и тяжелый период Халифата. В государстве уже фактически началась гражданская война и, несмотря на все его усилия, он не мог остановить этот процесс. Народ и сподвижники пророка, возмущенные убийством Османа, требовали от Али немедленного наказания мятежников. С другой стороны и мятежники обладали достаточными военными силами, и справиться с ними было не так просто. Поэтому Али оказался между двух огней и пытался решить проблему постепенно. Первым делом он попытался заручиться доверием всех сподвижников и лидеров провинций. Однако, в 36 году, Басре произошли события, которые перечеркнули все надежды Али на урегулирование положения в государстве. Туда начали стекаться представители различных сил, которые выступали с требованиями мести за убийство Османа. Там же находилась жена пророка Мухаммада - Аиша, которая прибыла туда с караваном из Мекки. Для того чтобы не допустить беспорядков, Али выступил со своей армией в Басру. Но он не хотел кровопролития и провел переговоры с Аишой, а также другими влиятельными сподвижниками - Тальхой и Забайром. Казалось, что конфликт решится мирным путем. Однако находившиеся в городе мятежники, участвовавшие в убийстве Османа, не были заинтересованы в мирном исходе конфликта и спровоцировали между сторонами обычный бытовой конфликт, который привел к крупной битве, которая была названа "Верблюжьей" (Джамаль).
Несмотря на победу в этом сражении войск Али, политическое положение в государстве после этой победы еще более осложнилось. Против власти Али также выступили различные группы в Египте, Ираке. Однако самое серьезное сопротивление халиф Али встретил в лице правителя Сирии Муавии ибн Абу Суфьяна из рода Омейядов, который к тому времени превратился в достаточно влиятельного и популярного человека. Он отказался признавать Али в качестве халифа.
В ответ Али двинулся на него и стороны сошлись в решающем сражении при Сиффине в 37 году. Армия Муавии оказалась в сложном положении и стала терять свои позиции. Тогда сирийцы нанизали на кончики копий листы Корана и призвали Али к Божьему суду. Али пошел им навстречу и тоже склонился к мирному решению проблемы на третейском суде. Однако этот суд окончился безрезультатно. Более того, недовольные этим решением часть сторонников Али отошли от него и образовали секту хариджитов, которые выступили как против Али, так и против Муавии.