Первым его делом было отдать последний долг своим братьям-страстотерпцам Борису и Глебу. О месте погребения Бориса он узнал скоро, но целый год искал напрасно останки Глеба.
Только весной 1020 года тело его было случайно найдено звероловами. Священники со свечами и кадилами перенесли его в лодку, и затем оно было перенесено в Вышгород, где его погребли рядом с братом.
При этом всеобщее внимание было обращено на то, что тело Глеба, пролежав пять лет в лесу, нисколько не повредилось от погоды; также звери и птицы не тронули его; оно было бело и нетленно, как живое. Скоро у могилы мучеников начали являться знамения и чудеса.
Ярослав, по совещании с митрополитом Иоанном, решил открыть мощи новоявленных святых, прославленных нетлением и даром чудотворения. Для этого приступили к постройке нового храма, и 24 июля 1021 года храм этот был освящен и мощи открыто поставлены в правой стороне церкви. Во время литургии, при бесчисленном стечении народа, хромой, ползавший у раки святых, встал и стал ходить в виду всех.
С памятью святого страстотерпца Бориса неразлучно связана память о верном слуге его Ефреме Новоторжском. Ефрем, родом венгр, пришел на службу к князю Борису вместе с двумя своими братьями – Моисеем и Георгием. Георгий, как мы знаем, был при своем господине на берегу реки Альты и погиб от копий убийц, когда хотел прикрыть своим телом Бориса. Узнав о смерти князя и любимого его брата, Ефрем искал тело Георгия на месте убийства, но нашел только голову, которую злодеи отрубили, чтобы снять с шеи золотую гривну, подаренную ему Борисом. Ефрем взял с собой голову брата и затем принял иночество, удалившись на берег реки Тверцы, в селение Новый Торжок. Там он построил странноприимный дом, а когда открылись мощи святых князей Бориса и Глеба, то в честь них он соорудил каменный храм и основал монастырь. Мощи преподобного Ефрема, обретенные в 1872 году, почивают открыто в соборной церкви Новоторжского Борисоглебского монастыря. При них нетленная глава брата его Георгия, которая, по завещанию преподобного Ефрема, была положена с ним в могилу.
Сев в Киеве на княжение и заботясь об отдаче последнего долга погибшим братьям, Ярослав вместе с тем должен был перенести еще немалые огорчения от других своих родственников.
В 1020 году племянник Ярослава, полоцкий князь Бречислав, сын того Изяслава, который, будучи малюткой, с большим мечом в руках спас свою мать Рогнеду от гнева Владимира, напал на Новгород, ограбил город, полонил множество жителей и с богатой добычей пошел обратно к Полоцку. Узнав про это, Ярослав собрался против него и совершил поход, по примеру деда своего Святослава, с поражающей быстротой, сделав в семь дней от Киева до речки Судомы, впадающей в Шелонь, около семисот верст; здесь он отобрал у Бречислава весь его полон и прогнал обратно к Полоцку; впрочем, он вскоре примирился с ним и прибавил к его уделу еще две волости.
Расправившись с Бречиславом, Ярослав через два года вынес гораздо более упорную борьбу с родным братом своим от Рогнеды Мстиславом. Этот Мстислав, получив от отца далекую Тмутаракань, усилил свои владения, победив хазар и касогов, живших в степях, примыкающих к Северному Кавказу. По природе богатырь, дебелый телом, черный волосом, светлый лицом, храбрый, милостивый и долготерпеливый ко всем, Мстислав больше всего на свете любил свою дружину, для которой ничего не жалел.
В 1016 году, помогая грекам, он окончательно разрушил Хазарское царство и взял в плен хазарского кагана. В 1020 году, когда Ярослав расправлялся с Бречиславом, Мстислав покорил касогов.
Это случилось так. Когда Мстислав и его дружина сошлись с касожскими полками, то их князь Редедя, богатырь по своей силе, предложил Мстиславу: «Для чего будем губить свою дружину, лучше сойдемся сами и поборемся. Если ты одолеешь, то возьмешь все мое: именье, жену, детей и всю землю. Если я одолею, то возьму все твое». – «Да будет так», – ответил ему Мстислав. Тогда Редедя добавил, что бороться будут не оружием, а борьбой. Крепко схватились два богатыря. Редедя был силен и велик, и Мстислав стал уже изнемогать. «Пресвятая Богородица, помоги мне», – воскликнул он в молитве и помыслил: «Если одолею, построю церковь во имя Твое». Как только он это сказал, то в ту же минуту ударил Редедю о землю, после чего вынул нож и заколол его. Затем, согласно уговору, Мстислав вошел в Касожскую землю, забрал ее и наложил дань, а вернувшись к себе в Тмутаракань, заложил обещанную церковь Святой Богородице.
Вот этот-то Мстислав, получивший прозвище Удалой, усилившись касожскими полками, решил в 1023 году искать себе лишних волостей после умерших братьев и вторгся в русские пределы. Он уже раньше требовал их себе, и Ярослав давал ему Муром, но Мстислав нашел, что этого мало.