В годы правления Мухаммада и его двух первых заместителей — Абу Бакра и Омара, арабское общество Мекки и Медины представляло собой религиозную общину, в которой светской власти в полном смысле этого слова не было, власть была духовная, которая воспринималась как непосредственное веление Аллаха. Жизнь первых халифов (Абу Бакра и Омара) мало чем отличалась от образа жизни любого члена общины. Характер власти стал меняться при третьем халифе Османе, хотя источники и утверждают, что он был носитель святости и благочестия, представитель совестливости, но известно, что начавшиеся при нем волнения, приведшие к его гибели, были вызваны тем, что началось материальное обогащение правящей верхушки. После убийства Османа начинается борьба за власть и начинаются дела человеческие. Власть захватывает представитель рода Омайн. С этого времени власть халифов становится все более светской, функции духовной власти переходят все более к Корану, который давал ответы на каждый вопрос, и тогда создаются «хадисы» или воспоминания ближайших сподвижников пророка по поводу того, что говорил он по поводу различных ситуаций и как поступал. Создается своего рода профессия «мухадисов», собирателей и толкователей «хадисов», которые объединяли в себе всю сумму богословских и юридических знаний эпохи. Постепенно к мухадисам выдвигается следующее требование: доверие к нему возможно лишь тогда, когда он не только передает хадисы, но и соблюдает их. А соблюдать хадисы означает пытаться воспроизводить в своей жизни во всех деталях жизнь основателя Ислама, а это жизнь аскета, полного трепета перед Богом и избегавшего всего, что может считаться запретным, и именно здесь начинает оформляться аскетическое течение, впоследствии названное суфизмом. Термин «суфи» еще не существует, обычно людей этого типа называют «захид» — отшельник или «абид» — служитель Божий, отличало их от обычных верующих лишь повышенная интенсивность восприятия религии и отличия в религиозной практике. Так, исходя из рекомендаций Корана (с.II.147) «... и поминайте Меня, дабы Я помянул вас...», они уделяли большое внимание поминанию одному из 99 имен-аспектов Бога с определенными дыхательными упражнениями в течение длительного времени. Постепенно рядом с этой практикой начинает развиваться своеобразное самонаблюдение — контроль за психическим состоянием. Важная роль в разработке теоретической базы этого самонаблюдения принадлежит ал-Мухасиби (Багдад IX век), он разработал метод самонаблюдения, в котором ставилась задача проследить соотношение между внешними действиями человека и намерениями его сердца. Крайне тщательный анализ самых сокровенных помыслов и движений души приводит его к установлению понятия ХАЛ — экстатического состояния, внезапного озарения. Книга Мухасиби представляет собой целое руководство по организации внутренней жизни в направлении морального очищения. Другого основателя, ал-Бисри, — называют создателем науки о «сердцах и помыслах, и о человеческих намерениях». Его книгам присущ глубокий анализ мельчайших движений души человека, скрытых мотивов его поступков, внимание к личному переживанию и внутреннему осознаванию религиозных истин. И в высказываниях, и в проповедях их аскетов-учеников и последователей появляются мотивы бескорыстной любви к Богу, неизбывной любви по Нему, стремления сблизиться с Ним. С этого времени они становятся характернейшей особенностью и отличительной чертой суфийской идеологии, придав ей отчетливый мистический оттенок.
В противовес официальной религии, проповедовавшей страх перед карающим Богом и страшным судом, мистики учили своих последователей любви к Богу, к Его Абсолютной, непреходящей Красоте. Мистик стремится к постижению Высшей Истины, не требуя ничего взамен. Высшей целью у мистиков является мистическое воссоединение с Богом. «Мы не боимся ада и не желаем рая»,говорили суфии.
Одним из первых мистиков у суфиев считается Рабия-эль-Адавийэ, по словам которой «любовный пыл к Богу сжигает сердце». В житиях суфийских святых Аттара про нее приводится следующий рассказ: «Однажды Рабию спросили: «Ненавидишь ли ты дьявола?» «Нет», — ответила она. «Почему же?» — спросили ее тогда. Она сказала: «Потому что любовь моя к Богу не оставляет мне время ненавидеть дьявола».
Показательно и высказывание шейха Харакани. Он сказал: «Господь окликнул мое сердце: «Раб мой, что надо тебе? Проси!» Я сказал: «О Боже, разве мне не довольно Бытия Твоего, чтобы просить что-либо еще?»