Рогволод занял Полоцк. Но он решил ослабить своего противника, чтобы отнять надежду у его партии на возвращение. Рогволод собрал полочан, получил помощь от Ростислава Смоленского, приславшаго ему своих сыновей Романа и Рюрика с новгородцами и смольнянами, и отправился к Минску. На пути же прежде всего осадил он Изяславль, в котором княжил Всеволод Глебович; последний князь был в дружбе с Рогволодом и потому без долгого сопротивления вышел к нему, примирился с ним. Рогволод удел его Изяславль передал Брячиславу Васильковичу, а Всеволоду дал Стрежев. Отсюда он отправился к Минску, осадил здесь Ростислава, но через 10 дней заключил и с ним мир.
Борьба Борисовича с Глебовичами и на этот раз не прекратилась. Последнее не желали удовольствоваться своею отчиною и потому в том же году они напали на младших Васильковичей, Володшу и Брячислава, пленили их в Изяславле и отвели в Минск. Это обстоятельство заставило Рогволода летом следующего года отправиться на Минск, причем он воспользовался помощью Ростислава Смоленского, приславшего ему 600 конных торков под начальством воеводы Жирослава Нажировича; торки скоро ушли, но Рогволод продолжал осаду города в продолжение 6 недель, пока наконец не достиг своей цели, не заключил мира «по своей воле»; результатом было освбождение братьев Володши и Брячислава. Борьба между двумя линиями продолжалась и в следующем году. Рогволод снова ходил к Минску и «створи мир» с Ростиславом.
Наконец, и Рогволод решил бороться со своими противниками поодиночке. Он выступил в 1162 году на самого деятельного из них Володаря и осадил его в удельном его городе Городце. Володарь уклонился днем от сражения, но ночью напал на полочан и нанес им с помощью литвы сильное поражение. Рогволод убежал в Слуцк, оттуда перешел в свой удел Друцк, оставив намерение утвердиться в Полоцке: «а Полотьску не сме ити, занеже множьство паде Полочан», поясняет летопись.
Неудачная борьба с Глебовичами ослабила энтузиазм, возбужденный в Полоцке; когда Рогволод прибыл в Друцк, поддержка, оказанная ему Святославом, была незначительна. Ростислав Мстиславич также слабо помогал ему, а между тем полочанам приходилось выдерживать тягостную войну с другою линиею, не желавшею уступить первенства. Все это ослабило партию Рогволода, он понял это и удалился в Друцк, а полочане избрали Всеслава Васильковича.
Князь этот, княживший до сего времени в Витебском уделе, держался во время только что описаной борьбы за Полоцк в стороне от нее. С избранием этого князя полочане получили сильную поддержку на некоторое время в князьях Смоленских, покровительствовавших Всеславу. С него начинается особенно сильное влияние в Полоцке Смоленска. Самое появление его на Полоцком столе сопряжено было, по-видимому, с уступкой смоленским князьям. В самом деле, в 1162 году он занимает Полоцкий стол, а в 1165 году Давыд Ростиславич занял Витебск. Потому не без вероятности следует предположить, что уступка Витебска была сопряжена с поддержкою, которую оказал Смоленск в этом случае, и также с целью приобресть себе в смоленских князьях верного покровителя в борьбе за Полоцк. Занятие Витебска Давыдом могло произойти непосредственно после занятия Всеславом Полоцка в 1162 году, потому что летописная заметка под 1165 годом о том, что Давыд «седе» в этом уделе, не указывает вовсе на время занятия им стола, а только лишь на владение. И действительно, Всеслав, как сейчас увидим, более чем кто-либо из князей Полоцких, пользовался защитой и поддержкою Смоленска.
Так, когда в 1167 году Володарь Глебович направился к Полоцку и вышедший ему навстречу Всеслав с полочанами был разбит, последний бежал к Давыду в Витебск. Из обстоятельств похода можно, кроме того, видеть, что при первом известии о движениях Володаря, Давыд послал Всеславу помощь: «не да ему съвъкупитися (Володарь — Всеславу, очевидно с Давыдом) и вдари на них изнезапы».
Разбив Всеслава, Володарь занял Полоцк, утвердился в нем («целова крест с Полтьцаны») и сейчас же направился к Витебску на Давыда и Всеслава.
Войска встретились на берегах какой-то реки. Давыд оттягивал время, не желал вступать в битву, выжидая брата своего Романа с смольнянами. Но ночью произошло смятение в лагере Володаря — «в полунощи бысть гром силен, яко воем бродящемся черес реку, и страх нападе на воя Володаревы» — вследствие чего они и разбежались. На утро Давыд, узнав о случившемся, послал в погоню за бежавшими. Случайная победа над противником дала возможность Всеславу снова занять Полоцк. Давыд, по выражению летописи, «посла» его туда, что указывает на значительную зависимость полоцкого князя.