Оказалась недолговечной и победа арабов над закавказскими странами. Постоянные междоусобицы в халифате в 70-х годах VII в. настолько ослабили его, что Армения, Грузия и Албания смогли фактически освободиться. Власть халифата над ними стала номинальной. Однако не успели эти страны вздохнуть, как новое бедствие постигло их. К 684 г. относится одно из наиболее крупных нашествий хазар на Закавказье. Нашествие явилось, видимо, ответом на самовольные действия Алп-Илитвера, женившегося, как мы помним, на дочери албанского князя и принявшего христианство. Алп-Илитвер связал судьбу своих владений с Албанией и частично с Арменией – на них и обрушились хазары. Они полностью опустошили несколько областей, захватили добычу и пленных. В сражениях с хазарами погибло множество народа, в том числе правитель Армении Григорий Мамиконян и несколько виднейших албанских и грузинских князей. Албания была обложена тяжелой данью.
Мы не знаем, сколько лет Албания выплачивала дань каганату, известно только, что в 692 г. арабский правитель Армении Мухаммед Ибн-Огбай прошел через Албанию и занял Дербент. Он, видимо, хотел создать прочный щит против хазарских набегов. Для беспрепятственного завоевания закавказских стран и владения ими арабам прежде всего нужно было обезопасить себя от хазарского вмешательства. Действительно, какое-то время хазары, занятые к тому же дворцовыми интригами Юстиниана II, не мешали халифату. Тем не менее долго неизменным это положение оставаться не могло – Ибн-Огбай не смог даже удержать захваченный Дербент, поскольку известно, что в 708 г. арабы вновь брали его. В 710 г. его снова захватили хазары. В 713 г. знаменитый арабский полководец Хабиб Ибн-Маслама, наконец, с большим трудом оттеснил хазар из Албании и осадил Дербент. Город в течение трех месяцев держался. Оборонял его трехтысячный хазарский гарнизон. Масламе удалось взять Дербент только благодаря измене одного из городских жителей, показавшего подземный ход в крепость. Интересно, что арабы, не надеясь, очевидно, удержать крепость за собой, предпочли разрушить ее стены и башни.
Описывая этот первый поход Масламы, армянский автор VII в. Гевонд рассказывает, что арабы после взятия Дербента вторглись в хазарские земли и дошли до города Тарку (Семендера). Здесь они встретились с войском хазарского кагана. Обе армии несколько дней стояли в бездействии, выпуская только отдельных удальцов для единоборства. Маслама, опасаясь явного численного превосходства хазар, тайно отвел свои войска назад, в Грузию, оставив для разграбления лагерь, полный имущества, и даже собственный гарем.
Снова хазары захватили часть албанской земли. В течение четырех лет они хозяйничали в северной части Азербайджана, а в 721 г. вторглись уже в Армению и уничтожили стоявшее там арабское войско. Новый арабский наместник Армении Джеррах Ибн-Абдаллах ал-Хаками выступил против хазар с вновь сформированной сильной армией. Так началась длившаяся более полутора десятилетий война арабов против хазарского каганата. Арабы предприняли несколько походов в глубь хазарских земель, которые сопровождались разгромом городов, разорением страны и гибелью ее жителей.