Пока их противники-сунниты набирали политическую, военную и религиозную силу, исмаилитов-Фатимидов ослабляли религиозные разногласия и политический упадок. Первые серьезные внутренние конфликты в исмаилизме были вызваны самими успехами Фатимидов. Потребности и круг обязанностей династии и империи требовали внесения некоторых изменений в изначальное учение и, говоря словами современного исследователя исмаилизма, «более серьезной и консервативной позиции в отношении существовавшего тогда института ислама». С самого начала возникали споры между исмаилитами-радикалами и исмаилитами-консерваторами, между хранителями и открывателями эзотерических тайн. Время от времени халифам-Фатимидам приходилось противостоять расколу и даже вооруженному сопротивлению, когда группы их сторонников отказывали им в своих одобрении и поддержке. Уже во время правления первого халифа-Фатимида в Северной Африке существовали разногласия между da‘is, придерживавшимися различных взглядов, и отступниками в лагере Фатимидов. Четвертый халиф аль-Муизз столкнулся с аналогичными трудностями. Во время завоевания им Египта в момент его триумфа ему даже пришлось сражаться с карматианцами из Восточной Аравии, которые сначала поддержали Фатимидов, а потом повернули против них и напали на их армии в Сирии и Египте. Позднее карматианцы снова стали выражать лояльность Фатимидам и исчезли как самостоятельная организация. Другой раскол произошел в 1021 году после исчезновения при неясных обстоятельствах шестого халифа аль-Хакима. Группа правоверных считала, что аль-Хаким был богом и не умер, а просто удалился из мира людей. Отказавшись признавать его преемников на троне Фатимидов, они отделились от основной секты. Им удалось заручиться некоторой поддержкой исмаилитов в Сирии, где их группы существуют и в наши дни в современных государствах – Сирии, Ливане и Израиле. Одним из основателей этой секты был da‘i центральноазиатского происхождения Мухаммад ибн Исмаил ад-Дарази, и поэтому его последователи известны как друзы.
Во время долгого правления восьмого халифа аль-Мустансира (1036–1094) империя Фатимидов достигла пика своего расцвета и быстро пришла в упадок. После его смерти секту исмаилитов разорвал ее самый серьезный внутренний раскол.
Когда власть Фатимидов была в расцвете, халиф полностью сохранял личный контроль над всеми делами, авторитетно возглавляя три большие ветви власти – чиновничество, религиозную иерархию и вооруженные силы. Главой бюрократического аппарата и правительства при халифе был визирь – гражданское лицо, главой религиозной иерархии – главный da‘i, или миссионер (da‘i al-du‘at), который, помимо того что руководил исмаилитскими общинами в империи, еще и командовал большой армией доверенных лиц исмаилитов и миссионеров за ее пределами. Командующий вооруженными силами при этом, по сути, в гражданском режиме возглавлял третью ветвь власти. Однако после смерти аль-Хакима военные стали быстро наращивать свою власть за счет гражданской власти и даже власти самого халифа. Поражения, неудачи и беспорядки в середине XI века ускорили этот процесс, который завершился в 1074 году, когда по приглашению халифа в Египет вместе со своей армией вошел военный губернатор Акры Бадр аль-Джамали, чтобы взять все дела под свой контроль. Вскоре он стал хозяином страны, получив от халифа три титула – главнокомандующего армиями, главы миссионеров и визиря, что означало его контроль над всеми тремя ветвями власти – военной, религиозной и чиновническим аппаратом. Обычно он известен под первым из этих титулов.
С той поры реальным хозяином Египта стал главнокомандующий армиями – военный диктатор, правивший, опираясь на свои войска. Этот пост стал бессменным, на котором преемниками Бадра аль-Джамали стали его сын и внук, а затем ряд других военных диктаторов. Точно так же, как халифы-Аббасиды в Багдаде стали беспомощными марионетками своих собственных преторианцев, Фатимиды теперь стали всего лишь номинальными фигурами для череды военных диктаторов. Это был печальный упадок династии, которая претендовала на духовное и политическое главенство во всем исламе, упадок, который был в поразительном противоречии с верованиями и надеждами исмаилитов.