Следующие годы были отданы саксонской войне. В 775 году во главе большой армии Карл углубился в Саксонию вплоть до реки Оккера и оставил сильные гарнизоны в Эресбурге и Сигибурге. Но уже следующей весной саксы взяли Эресбург обратно. Тогда Карл попытался создать на границе с Саксонией укреплённый рубеж. В 776 году он основал здесь крепость Карлсбург и крестил многих саксов. В 777 году со всех концов страны к нему явились массы местных жителей и изъявили свою покорность. В 778 году Карл был отвлечён войной с испанскими арабами — во главе большой армии совершил поход за Пиренеи, но потерпел неудачу под Сарагосой. По возвращении из Испании Карл узнал, что саксы, объединившись вокруг отважного вождя Видукинда, забыли свои клятвы, отбросили показное обращение и снова начали войну. Перейдя границу у Рейна, они поднялись по правому берегу этой реки до Кобленца, всё выжигая и грабя на своём пути, а затем, нагруженные богатой добычей, возвратились восвояси. В 779 году Карл вторгся в Саксонию и прошёл почти всю страну, нигде не встречая сопротивления. Вновь, как и прежде, в его лагерь явилось множество саксов, которые дали заложников и клятву верности. Однако король уже не верил в их миролюбие. В 780 году он вновь явился в Саксонию и прошёл до самой Эльбы. В 782 году вся страна была разделена на административные округа, во главе которых король поставил своих графов.
Казалось, что Саксония наконец покорена и включена в состав франкской державы, но это было обманчивое впечатление. Через несколько месяцев из Дании вернулся бежавший туда Видукинд, что послужило сигналом к всеобщему восстанию. Множество франков было перебито, христианские храмы разрушены. Войско, посланное против саксов, попало в засаду у горы Зунталь и было почти полностью перебито мятежниками. Карл собрал новую армию, явился в Верден, вызвал к себе саксонских старейшин и принудил их выдать 4500 заложников. Все они в один день были обезглавлены. Тогда же был обнародован так называемый «Первый саксонский капитулярий», грозивший страшными карами за любое прегрешение против церкви и франкской администрации. Следующие три года Карл почти не покидал Саксонии. В ходе этой упорной войны он бил саксов в открытых сражениях и в карательных рейдах, брал сотни заложников, которых увозил из страны, уничтожал селения и фермы непокорных. Летом 785 года франки перешли Везер. Обескровленный многими поражениями, Видукинд завязал с Карлом переговоры и запросил пощады. Осенью он приехал к королю в Аттиньи, крестился и получил из его рук богатые дары. Это был переломный момент в Саксонской войне. После этого сопротивление побеждённых стало постепенно ослабевать, и Карл получил возможность освободить часть сил для других завоеваний.
В конце 786 года он выступил против герцога Беневентского Арихиза, владевшего южной частью Апеннинского полуострова и мечтавшего объединить под своей властью всю Италию. В начале 787 года Карл уже был в Риме, а затем подошёл к Капуе. Напуганный этой стремительностью, Арихиз отступил к Салерно и оттуда отправил к Карлу своего сына для переговоров. Он обещал полное повиновение, лишь бы король не опустошал его территории. Карл согласился. После этого сам герцог и его народ принесли королю франков присягу в верности. Таким образом, вся Италия, до самого юга, признала власть франкского короля. Развязав себе руки в Саксонии и Италии, Карл обратился против баварского герцога Тассилона, старого союзника лангобардов. В том же году он окружил Баварию с трёх сторон войсками. Тассилон вынужден был принести клятву верности. В 788 году Карл вызвал герцога на суд, низложил и заставил постричься в монахи. Герцогская власть в Баварии была упразднена, а страна отдана под управление графам.