Если с мятежом полоцкого князя, который на короткое время захватил Новгород, Ярослав справился быстро, то отношения с Мстиславом складывались не столь благополучно. Во время междоусобицы Мстислав Владимирович держался в стороне и укреплял свои позиции на Таманском полуострове.
В 1023 г. между братьями вспыхнула открытая война, которая, по существу, являлась продолжением большой междоусобицы 1015–1019 гг. Мстислав двинулся на север, собрав большую рать и включив в нее отряды из подвластных ему народов, в частности хазар и касогов.
Встреча противоборствующих сторон произошла в 1024 г. под городом Лиственом, неподалеку от Чернигова, в кромешной тьме, в дождь и грозу. Характерно, что против ударной силы Ярослава — варягов — Мстислав выставил в «челе» войска, т. е. в центре, черниговскую дружину северян. Именно северяне и приняли на себя удар варягов, а потом при поддержке дружины самого Мстислава стали одолевать их. Ярославова рать не выдержала натиска полков Мстислава, и Ярослав вместе с предводителем варягов бежал с поля боя, минуя Киев, в Новгород. Русь снова раскололась надвое. Ярослав сохранил за собой Новгород, Мстислав остался властителем Черниговской и Тмутараканской земель. В Киеве сидели Ярославовы «мужи». Мстислав не решился на захват русской столицы.
Через два года Ярослав, собрав дружину на севере, появился в Киеве. На этот раз братья воздержались от дальнейшего «кроворазлитья» и заключили мир. Русь по этому миру была разделена на две части. Все левобережье Днепра с Северской землей, Черниговом, Переяславлем и другими городами отошло к Мстиславу. За ним оставалась и Тмутараканская Русь. Своей резиденцией Мстислав, ставший, по существу, правителем соседнего государства, сделал Чернигов. Под управлением Ярослава остались Киев с правобережными землями, весь север Руси во главе с Новгородом.
Русь вновь оказалась расколотой. Поэтому фактически о едином государстве применительно к этому времени можно говорить лишь условно, хотя в последующие годы братья жили мирно друг с другом. Они собрали большое войско, «повоевали» польские земли, вновь заняли «червенские города», захватили огромный полон.
В 1036 г. Мстислав умер, не имея наследников, а его часть Руси отошла к Ярославу. Так, через двадцать с лишним лет после смерти Владимира I, Русь снова стала единой.
Междоусобица показала, сколь непрочным ещё было объединение Руси, насколько сильны были стремления некоторых земель к отделению от Киева.
Став, по словам летописца, «самовластием», Ярослав пошел по пути отца. Он послал в крупные города и земли своих сыновей и требовал их беспрекословного повиновения. В Новгород отправился старший сын, Владимир, а после его смерти — следующий по старшинству сын Изяслав. Святославу он отдал в управление Черниговскую землю, Всеволоду — выросший к этому времени в сильную крепость Переяславль. Другие его сыновья были посланы в Ростов, Смоленск, Владимир-Волынский.
Воссозданное единство Руси, сосредоточение власти в руках великого князя, подчинение Киеву отдельных русских земель посредством направления туда великокняжеских сыновей-наместников стали той политической основой, на которой развились новые хозяйственные процессы, расцвели города, усложнилась общественная жизнь, развивалась культура страны. Этому способствовало и то, что с середины 30-х и до начала 60-х гг. XI в. Русь не видела на своей территории вражеских нашествий, а если и вела войны, то вдали от родных очагов.
Последнее крупное нападение кочевников-печенегов произошло в 1036 г. Весь день длился бой, и лишь к вечеру русы стали одолевать печенегов, и те побежали «розно», т. е. кто куда. Многие из них были убиты, часть утонула в окрестных реках, спасаясь от преследователей вплавь. От этого поражения печенеги так и не смогли оправиться. После 1036 г. их набеги на Русь практически прекратились. В 1037 г. Ярослав в ознаменование блистательной победы над печенегами на месте битвы заложил храм — собор Святой Софии. Он был поименован так же, как и главный собор Константинополя, и в этом была политическая символика: Русь как бы подчеркивала свое государственное равенство с великой империей и одновременно свою религиозную и духовную преемственность по отношению к ней.
Этот год стал знаменательным и в другом смысле: по мнению ряда исследователей, в это время зарождается русское летописание, создается древнейший летописный русский свод. Его связывают со строительством Софийского собора, который сразу становится не только религиозным, но и духовным центром страны. Правда, существует и иная точка зрения, согласно которой первый летописный свод появился на исходе X в. и вобрал в себя древние сказания о походах Олега, крещении княгини Ольги и т. п.
К тому же, вероятно, в это время появился и первый свод законов — «Русская Правда» Ярослава Владимировича. Время возникновения этого памятника исследователи датируют довольно широко: от 1015 до 1030 г.