Здесь сидел в это время на княжении юный сын Святослава Глеб и мирно занимался измерением по льду ширины пролива из Азовского моря в Черное, когда на него внезапно налетел двоюродный брат Ростислав и изгнал из Тмутаракани.
Конечно, Святослав не замедлил выступить в поход, чтоб вернуть себе Тмутаракань. Ростислав, уважая дядю, говорит летописец, отдал ему город без сопротивления, но как только Святослав удалился, то опять сел в нем княжить, причем весьма быстро покорил себе касогов и другие соседние кавказские народы, пользуясь тем, что Святослав был в это время занят новой усобицей, поднятой полоцким князем Всеславом. Однако Ростислав был вскоре лишен жизни, и притом самым низким образом. Быстрое покорение им окрестных кавказских народов возбудило против него сильные опасения у греков, владевших городом Корсунью на Крымском побережье; чтобы избавиться от Ростислава, они подослали к нему одного своего знатного человека, который успел вкрасться в доверие к русскому князю, и однажды, когда Ростислав угощал его, грек, налив чашу вина, провозгласил здоровье хозяина и затем, отпив половину, передал ее Ростиславу, чтобы тот допил ее до дна, причем во время этой передачи выпустил незаметно из-под ногтя сильный яд, от которого доверчивый Ростислав и умер на шестые сутки, оставив трех сыновей-сирот: Рюрика, Володаря и Василька; место же его в Тмутаракани опять занял Глеб Святославич.
Так с кончиной Ростислава сама собой окончилась первая усобица между потомками Ярослава; но в это время на Руси шла уже другая усобица, и притом значительно более жестокая, между тремя Ярославичами с одной стороны и Всеславом, князем Полоцким, с другой, который считал себя также на положении изгоя ввиду того, что дед его Изяслав был совершенно выделен из остальной семьи святого Владимира и посажен с матерью в Полоцкой земле, причем уже у сына этого Изяслава, Бречислава, вышла в 1020 году усобица с великим князем Ярославом.
Теперь сын Бречислава, Всеслав, снова поднял оружие.
Князь этот, немилостивый, по сказанию летописца, на кровопролитие, больной какой-то язвой на голове, которую постоянно скрывал под повязкой, и рожденный будто бы от волхвования, оставил о себе память как о чародее за необыкновенное искусство чрезвычайно быстро и скрытно совершать свои походы.
В 1065 году, пользуясь, вероятно, тем, что внимание Ярославичей было отвлечено Ростиславом к Тмутаракани, Всеслав стал неожиданно осаждать Псков. Но Псков ему взять не удалось; тогда он в следующем, 1066 году неожиданно же подступил, по примеру отца своего, к Новгороду, полонил множество жителей с женами и детьми и снял колокола у Святой Софии.
Возмущенные этим, Ярославичи собрали войска и, вступив в страшные холода во владения Всеслава, подошли к Минску. Жители Минска, верные своему князю, их к себе не впустили и затворились. Тогда братья взяли город приступом, причем войска их в ярости изрубили множество жителей. Вскоре против Ярославичей выступил Всеслав, и встреча их произошла на реке Немизе, должно быть, недалеко от Минска. Здесь 3 марта 1067 года, несмотря на сильный снег, произошла злая сеча, в которой пало много народу с обеих сторон, но победа осталась за Ярославичами, и Всеслав должен был бежать.
Чтобы покончить с ним, Изяслав с братьями прибегли через несколько месяцев к следующему: они пригласили Всеслава для переговоров, пообещав не причинять никакого зла; когда же он прибыл и вошел в шатер Изяслава, то был тотчас же схвачен с двумя своими сыновьями и отвезен в Киев, где их посадили в поруб (тюрьму).
Это вероломство не принесло счастья Ярославичам, а, наоборот, как увидим, было источником многих бедствий.
В следующем, 1068 году половцы в огромном количестве подступили к границам Русской земли.
Изяслав, Святослав и Всеволод вышли им навстречу к берегам реки Альты, но имели слишком недостаточно войска и были наголову разбиты.
После этого поражения Изяслав и Всеволод с остатками своих воинов вернулись в Киев, а Святослав к себе в Чернигов.
В Киеве известие о погроме на Альте вызвало сильнейшее волнение; всеобщее негодование возгорелось против тысяцкого Коснячка, воеводы городских и сельских полков, которому ставились в вину все наши неудачи. Жители шумно требовали, чтоб им еще раздали оружия и коней и повели вновь биться против половцев. Вскоре возбуждение толпы перешло и против великого князя Изяслава; часть народа направилась к его терему, а часть к порубу, где был заключен Всеслав с сыновьями. Нерешительный Изяслав колебался, не знал, что предпринять, и, наконец, видя всеобщее неудовольствие против себя, решил бежать в Польшу; за ним оставил город и Всеволод; в это же время толпа вывела Всеслава из поруба, провозгласила его киевским князем, а затем кинулась грабить двор Изяслава.