Война на Кавказе приобретала затяжной и все более ожесточенный характер. В 721 г. хазары вторглись в Армению, одержали ряд побед, но затем были разбиты. В ответ арабский наместник Армении Абу Убейд Джаррах совершил два набега на северокавказские владения Хазарии, взял города Семендер, Беленджер и вернулся с богатой добычей. Положение каганата усугубилось тем, что ему пришлось сражаться на два фронта. Против него выступили и аланы, отношения с которыми оставались напряженными и неоднозначными еще со времен тюркских завоеваний. Хотя они были и христианами, но тут выступили на стороне арабов, круша хазарские тылы. Впрочем, союзниками они стали скорее фактическими, чем юридическими. Видимо, просто опасались участи Болгарии или поглощения Хазарией и сочли ситуацию удобной, чтобы подорвать ее позиции. Они жестоко просчитались. Арабам было безразлично, в каком порядке устанавливать свое господство, а более слабым звеном они сочли саму Аланию. В 724-725 гг., пройдя через Дарьяльское ущелье, они покорили ее и обложили данью.
Теперь дорога через Кавказский хребет была открыта, и здешние края оказались под ударом. Поэтому из разгромленного Се-мендера столица Хазарии была перенесена в город Итиль в низовьях Волги, а в 726 г. каган предпринял ответный набег на Закавказье. Но в 728 г. арабы перешли в новое наступление. Сначала их атаки успешно отражались, однако в 732 г. им все же удалось в очередной раз овладеть Дербентом и прочно закрепиться в нем, разместив там 14-тысячный сирийский гарнизон:
Византия до такой степени цеплялась за союз с каганатом, что в 732 г. наследник престола, будущий император Константин V Исавр женился на хазарской царевне Чичак. А Л. Н. Гумилев выдвигал даже предположение о существовании антнарабского блока, куда входили, кроме Византии и Хазарин, Тюргешское ханство и согды в Средней Азии и королевство франков на Западе. В 735 г. против арабов восстала Грузия. Для подавления восстания был назначен полководец Мерван, наместник Армении и Азербайджана. В памяти грузин он до сих пор остался одним из самых страшных завоевателей, побывавших на их земле. Пройдя с большим войском по Закавказью, он разрушил большую часть городов и крепостей, подвергая жителей массовым казням.
А затем, усилившись за счет вспомогательных отрядов из числа покоренных народов, он собрал 150-тысячную армию и двинулся на север. В 736 г. он прошел через кавказские перевалы, занял Аланию и подчинил царство лакцев, а в следующем году ударил на хазар. Его огромное войско достигло Волги. Хазары смогли выставить против него всего 40 тыс. и отступали. Они отошли за Волгу и по левому берегу пятились на север. Мерван следовал за ними по правому берегу. Некоторое время армии двигались параллельно, разделенные широкой рекой, но, усыпив бдительность хазар и дав им привыкнуть к собственной недосягаемости, Мерван внезапно навел понтонный мост и перебросил через Волгу отборный отряд арабов, напавший на противника врасплох и вызвавший панику. Каган бежал, 10 тыс. хазар были убиты, 7 тыс. взяты в плен. После этого разгрома Хазария запросила мира. Мерван потребовал от кагана принятия ислама и признания власти халифа, и тот вынужден был согласиться с этими условиями.
Однако арабы были уже не те, что в VI веке. Огромный халифат, охвативший многие регионы Азии, Африки и Европы, то и дело сотрясался восстаниями и гражданскими войнами. Поэтому о прочном покорении всей обширной Хазарии для Мервана нечего было и думать. Практически его победоносный поход стал лишь удачным рейдом или набегом, после которого он должен был вернуться восвояси. На обратном пути у "славянской реки", вероятно Дона, он захватил и угнал 20 тысяч семей "сакалиба". Однако когда их довели до арабских владений, они взбунтовались, перебили стражу и поставленного над ними эмира и двинулись на родину. Против них бросили войска, окружили и поголовно истребили.
Мерван в 739 г. еще сумел покорить Серир и прочие царства горного Дагестана, но время побед халифата уже кончалось. В том же году византийцы нанесли арабам сокрушительное поражение при Акроине и погнали их из Малой Азии. В 743 г. Мерван покинул Закавказье, вернулся в Дамаск и стал халифом, но последовали новые поражения от византийцев, а в 750 г. он погиб в результате восстания Абу-Муслима, свергшего династию Омейядов и посадившего на престол династию Аббасидов. При них начался распад халифата, и его завоевательная политика быстро сошла на нет.