Таким образом, испанская политика Карла Великого с самого начала была гораздо менее успешной, чем победоносные кампании на восточных границах. Более того, после неудачи 778 г. ситуация на юге стала ухудшаться. В 788 г. к власти в Кордовском халифате пришёл халиф Хишам, проповедовавший идеи возрождения арабской военной мощи под знаменем исламского джихада, апеллируя к недавним славным временам арабских завоеваний. Было очевидно, что на сей раз объектом этого «джихада» могут быть лишь территории к северу от Пиренеев, если учесть, что других сухопутных границ с немусульманскими государствами у Кордовского халифата, по сути, и не было. У франков же на южных границах было мало войск, поскольку Карл в то время был занят подготовкой похода против авар и военными действиями в Беневенте (см. выше). Созданное Карлом в 781 г. «вице-королевство» с центром в Тулузе, находившееся под формальным управлением его малолетнего сына Людовика и игравшее роль будущей Испанской марки, не смогло сдержать удар арабов, совершивших в 791 г. поход в Септиманию, в ходе которого были разорены и разграблены Нар-бонн и Каркассон, а франкское войско было разбито на р. Орбье.
Облегчение ситуации наступило со смертью халифа Хишама в 796 г. У Карла к тому времени в связи с разгромом авар высвободились значительные воинские силы, и наступательная инициатива переходит от арабов к франкам. Франкская экспансия, сопровождающаяся постоянными военными действиями, длилась с конца 790-х гг. по 814 г., до конца царствования Карла Великого. На очищенных от арабов землях создавалась Испанская марка, заселяемая испанцами, бежавшими в пределы Франкского государства от арабов. Столицей марки стала взятая в 801 г. Барселона. К 814 г. территория Испанской марки простиралась на юг до р. Эбро, ставшей рубежом между империей Карла Великого и землями халифата.
К концу VIII в. относятся также попытки Карла установить контроль над кельтской Бретанью. Бретань, подобно английскому Уэльсу, оставалась чисто кельтской областью, не затронутой франкским завоеванием и колонизацией ввиду своей труднодоступности; единственная сухопутная граница Бретани на востоке представляла собой полосу непроходимых болот. В V в. население полуострова значительно возросло за счёт кельтских беженцев из Британии, подвергшейся в то время опустошительному англосаксонскому завоеванию. Франкские короли предпринимали попытки покорения Бретани с 560 г., но практическими результатами этих попыток были лишь признание бретонцами формального вассалитета и выплата дани; в реальности же Бретань оставалась независимой. Карл Великий укрепил созданную его предшественниками Бретонскую марку с центром в Ванне, а его полководцы — сенешаль Адульф и префект марки Гюи — совершили в 786 и 799 гг. походы в пределы Бретани; однако ничего не изменилось. Бретань попала под власть французской короны лишь в 1532 г.