Абд-ер-Рахман достиг цели, к которой стремился. Отверженный, которому в течение пяти лет приходилось преодолевать все препятствия бродячей жизни, скитаясь от одного племени к другому по африканским пустыням, стал хозяином великой страны, и его заклятые враги были уничтожены.
Однако он не мог наслаждаться спокойной жизнью, ценой которой стали предательства и убийства. Его власть еще не была установлена по всей земле, йемениты были единственной партией, на которую он мог положиться, и он с самого начала не закрывал глаза на тот факт, что их поддержка весьма опасна. Страстно желая отомстить за поражение при Секунде, стремясь вернуть гегемонию, которой они так долго были лишены, они воспользовались делом Абд-ер-Рахмана как удобным поводом. В сердцах они предпочли бы сделать эмиром человека из своих рядов, если, конечно, удастся преодолеть взаимную зависть и вражду. Можно было предположить, что, как только их общий враг будет уничтожен, они обратят оружие против принца. Так и вышло. На протяжении всех тридцати двух лет своего правления власть Абд-ер-Рахмана I оспаривалась – иногда йеменитами, иногда берберами, а временами даже фихритами, которые, хотя и часто терпели поражение, «восставали из пепла», став еще сильнее. К счастью для эмира, арабские вожди, судя по всему, были неспособны к объединению. Они брали в руки оружие или чтобы удовлетворить личные амбиции, или из-за простого каприза. Вероятно, они смутно осознавали, что сокрушить эмира можно только объединившись, но об организованных совместных действиях все равно речь не шла. Таким образом, эмиру помогала разобщенность врагов и собственная неустанная активность, а также умелая политика – иногда искусная и вероломная, иногда насильственная и жестокая. Но его политика всегда была прозорливой и легко приспосабливаемой. Благодаря перечисленным выше факторам, Абд-ер-Рахман удерживал свои позиции, даже опираясь только на своих вольноотпущенников, немногочисленных союзников и берберов, вывезенных из Африки.
Среди самых масштабных восстаний йеменитов следует отметить восстание под руководством Ала ибн Мугиса, которое имело место в 763 году. Разные авторы приписывают его племенам якуб, хадрамаут и джудам. Двумя годами раньше фихритская партия, лидером которой был Хишам ибн Озра, сын бывшего правителя Испании, подняла мятеж в Толедо, и эмир не подавил его, когда Ала – назначенный аль-Мансуром, халифом Аббасидов, правителем Испании – высадился в провинции Бежа и поднял черный флаг, данный ему халифом. Ни одно знамя не могло с большей вероятностью объединить ссорящиеся партии, поскольку оно представляло не ту или эту партию, а весь ислам. Фихриты этой части Испании присоединились к йеменитам, и положение Абд-ер-Рахмана, в течение двух месяцев осажденного в Кармоне, стало настолько критическим, что он решил рискнуть всем. Узнав, что многие враги, устав от длительной осады, под разными предлогами разошлись по домам, он выбрал семь сотен человек – цвет гарнизона, разжег большой костер у Севильских ворот и воскликнул: «Друзья, мы умрем или победим! Давайте бросим ножны наших мечей в костер и поклянемся, что умрем, как воины, если победа не станет нашей!» Ножны полетели в огонь, и люди Абд-ер-Рахмана устремились вперед с такой прытью, что обратили осаждавших в беспорядочное бегство. При этом, как утверждают, погибли все лидеры осаждавших и еще семь тысяч человек. Победитель в гневе обезглавил труп Ала и его приближенных. Абд-ер-Рахман, желая отбить у халифа Аббасидов всякое желание оспаривать у него Испанию, велел сохранить головы, с использованием соли и камфары, и к уху каждой прикрепить ярлык с указанием имени и ранга погибшего. Их сложили в мешок вместе с черным флагом, документом о назначении Ала правителем Испании и рассказом о поражении мятежников. Кордовский купец, направлявшийся по делам в Кайруан, за большую сумму взял этот мешок с собой. Ему было велено оставить его ночью на рыночной площади. Купец в точности выполнил приказ, и говорят, что аль-Мансур, узнав об этом, в ужасе воскликнул: «Хвала Богу за то, что он поместил море между мной и таким врагом!» Некоторые хронисты утверждают, что мешок был отвезен кордовским паломником в Мекку, где тогда жил аль-Мансур.
За этой победой над Аббасидами в 764 году последовало падение Толедо. Устав от долгой войны, жители Толедо вступили в переговоры с Бадром и Таммамом, которые командовали армией принца, и, сдав лидеров, получили амнистию. Когда этих лидеров везли в Кордову, их встретили три посланца принца: брадобрей, портной и корзинщик. Следуя полученным инструкциям, брадобрей обрил головы и бороды пленных, портной скроил для них шерстяные туники, а корзинщик сплел короба. Через несколько дней население Кордовы увидело вереницу ослов, входящих в город. На них были навьючены короба, откуда высовывались бритые головы пленных и их плечи, нелепо украшенные шерстяными оборками. Сопровождаемые улюлюкающей толпой, неудачливые жители Толедо были провезены по всему городу. В конце концов их умертвили.