Одним из следствий завоеваний Карла в Италии стало столкновение франков с сарацинскими пиратами, коих было великое множество в Центральном Средиземноморье. Они устроили убежища в островных портах напротив западного берега полуострова. В период, точно нам не известный, франки овладели Корсикой и Сардинией и изгнали оттуда сарацин, захвативших острова у восточных римлян пятьюдесятью или шестьюдесятью годами ранее. В 799 году франки также захватили Балеарские острова. Эти удаленные зависимые территории не единожды подвергались нападению флотов из Испании, но держались до самого конца правления Карла. Они были поручены графам Генуи и Тосканы, которые могли собрать немалый флот и не раз одерживали верх над маврами.
Серьезная борьба велась между Карлом и мусульманами в Испании. На протяжении всего второго периода его правления она велась практически непрерывно. Продвижение христиан за Пиренеи началось с захвата в 785 году Жироны. Войну вел Людовик, третий сын Карла, которого отец назначил королем Аквитании и доверил ему все дела юго-востока. Он и его главный советник — Вильгельм, граф Тулузы, — герой романтических поэм франков, — имели дело с двумя первыми правителями Кордовы из Омейядов — Абд ар-Рахманом (755–788) и Хишамом (788–796). Они оба были сильными и талантливыми правителями, и отобрать у них территорию было совсем не легко. Тем не менее христиане медленно, но верно продвигались вперед. Им в немалой степени помогали беспокойные мусульманские правители, которые постоянно бунтовали против своих хозяев и поочередно звали на помощь франков. В 795 году недавно завоеванные земли вокруг городов Жирона, Кардона, Уржель и Осона были оформлены в Испанскую марку, которую возглавил маркграф. Барселона, главный город Каталонии, была добавлена к марке в 797 году из-за предательства ее правителя Зейда, который, потерпев неудачу в восстании против своего хозяина в Кордове, передал город франкам. Мавры на какое-то время вернули его в 799 году, но тут пришел король Людовик из-за Пиренеев с армией Аквитании и осадил город. Он держался почти два года, но в конце концов пал, побежденный голодом. Франки построили вокруг города вал, и зиму 800/01 года провели в хижинах рядом с ним. После капитуляции маврское население ушло, и город был вновь заселен «готами» из Септимании. Теперь франки хорошо закрепились за Пиренеями, и в последние десять лет правления Карла Великого покорили все южные склоны гор от Памплоны до устья Эбро. Таррагона, второй город Каталонии, пал в 809 году, а Тортоса, большая крепость в нижнем течении Эбро, — в 811 году. После этого франки переправились через реку и стали разорять обширные равнины Валенсии. Возможно, их наступление именно в этом направлении заставило аль-Хакама, третьего правителя Кордовы из Омейядов, в 812 году просить мира и уступить франкам все, что они захватили за Пиренеями. Франки не удержали все свои масштабные завоевания, но Барселона и все города к северу от нее были потеряны для ислама и завоеваны для христианского мира. Они успешно охраняли границу Аквитании от вторжений сарацин и впоследствии стали ядром самой важной части христианского королевства Арагон.