В области русско-византийских отношений заявленный в "Слове о законе и благодати" церковно-политический курс привел к тому, что в конце 30-х гг. XI в. Русская земля и Византия вступили в многолетний период враждебного противостояния, кульминационным моментом которого стал последний в истории обеих стран поход Руси на Константинополь в 1043 г.
Византийский историк Михаил Пселл, близкий в те годы к императорскому двору, следующим образом отозвался о причинах острого политического кризиса в русско-византийских отношениях: "Это варварское племя всегда питало яростную и бешеную ненависть к гегемонии ромеев; при каждом удобном случае изобретая то одно, то другое обвинение, они создавали предлог для войны с нами".
Ключевым словом в его сообщении является греческий термин hegemonia. Некоторые историки считали, что в данном контексте он означает просто "империя, держава". Однако этот вариант перевода слишком явно противоречит действительным фактам, которые говорят о том, что крещеная Русь никогда не покушалась на государственное бытие Византии или на ее территориальную целостность. Наоборот, со времен Владимира многотысячный русский корпус не раз помогал империи отстоять ее старые владения и заполучить новые. При Ярославе русы, верные своим союзническим обязательствам, продолжали пополнять ряды византийской армии. В 1030 г. они разделили с ромеями бедствия неудачного похода на Алеппо. Спустя шесть лет источники отмечают их в войске патрикия Никиты, осаждавшего крепость Пергри на византийско-армянской границе. В 1038-1042 гг. русские наемники приняли участие в сицилийской экспедиции стратига Георгия Маниака, закончившейся покорением почти всего острова.
Но, уважая государственный суверенитет Ромейской державы, Русь совсем иначе относилась к ромейской "гегемонии", то есть к официальной имперской доктрине, которая провозглашала византийского василевса верховным правителем над всеми народами, принявшими христианство из Византии, и которая находила свое продолжение в жесткой канонической практике Константинопольского патриархата, сковывавшей самостоятельную жизнь национальных Церквей. На церковно-политические притязания греков русские князья действительно отвечали "бешеной ненавистью" независимых государей, глубоко уязвленных навязанным им статусом "подданных" василевса. И если Владимир сумел оградить свое достоинство суверена женитьбой на багрянородной принцессе и царским титулом, то Ярослав был в этом смысле абсолютно не защищен, так как византийский титул кесаря не передавался по наследству.
Особую унизительность его отношениям с Византией придавало еще и то обстоятельство, что о своем политическом протекторате над Русской землей заявляли уже не лица царских кровей, а случайные выскочки. После смерти Василия II Болгаробойцы (1025) и его брата Константина VIII (1028) мужская линия Македонской династии пресеклась. Наследницей престола осталась дочь Константина VIII Зоя - пятидесятилетняя сумасбродка, помешанная на ароматических благовониях, молодых мужчинах и ханжеском благочестии. Сначала она взяла себе в мужья красавца Романа Аргиропула, а когда в 1034 г. он был отравлен, посадила на трон василевсов своего нового мужа Михаила IV - невесть откуда взявшегося юношу, которого даже византийские хронисты окрестили "безвестным" ("смирен человек родом", по дипломатичной характеристике Никоновской летописи). Естественно, что великому князю и кагану Русской земли, "яже ведома и слышима есть всеми четырьми конци земли", претило ходить в холопах у подобных людей. Таким образом, слова Пселла, переведенные на язык исторической действительности, отлично выражают суть дела.
Начало открытому конфликту положил церковный раздор с греками.
В первые годы "самовластного" княжения Ярослава вопрос о взаимоотношениях киевского князя с митрополичьим двором продолжал оставаться неулаженным - сказывались последствия Городецкого раздела, которые не были еще полностью устранены. Было очевидно, что после того, как Киев выиграл у Чернигова религиозно-культурное состязание за право называться духовной столицей Руси, глава Русской Церкви не мог и дальше находиться в Переяславле. Божий Град на берегах Днепра настоятельно нуждался в первосвященнике как символе высшей духовной власти. Понимая это, Ярослав в 1037 г., по завершении строительства Софийского собора, "устави митрополью", то есть объявил о переносе митрополичьей кафедры из Переяславля в Киев. Неизвестно, предшествовала ли этому решению какая-то договоренность с митрополитом Иоанном I. Примерно в то же время смерть оборвала почти тридцатилетнее служение престарелого иерарха, и, возможно, Ярослав учредил Киевскую митрополию уже после его кончины.