Повернув на запад, Баграт опередил византийцев, захватив прибережную Анакопию, но на поле битвы ему сообщили, что умер Джаффар III, тбилисский эмир. Баграт предоставил поле битвы своему абхазскому генералу Отаго Шервашидзе (Чачба). Доскакав до Дигоми, на окраине Тбилиси, Баграт соединился с конницей тбилисских грузинских старшин: вместе они подъехали к дворцу эмира – последнему мусульманскому зданию на правом берегу Куры. Там Баграт поставил царский гарнизон. На левом же берегу мусульмане оказывали сопротивление именно тогда, когда прибыли войска Липарита, который намеревался взять Тбилиси для себя. Армии Баграта пришлось выехать из города, чтобы отбить Липарита.
Липарит был неистощим: в 1047 году он добился поддержки кахетинцев, армян и византийцев и еще раз вторгся в Картли, на время поселившись в Уплисцихе, пока Баграт IV не пошел в контратаку. Липарит уже открыто принял сторону Византии, управляя всей территорией, захваченной византийцами в 1020-х годах, помогая генералу Катаколону Магистру и армянину Весту Аарону защищать иберийскую
На юге Баграт наступал не вооруженной силой, а дипломатией: он отправил свою мать Мариам в Армению. Как дочь царя Сенекерима она добилась получения девяти крепостей около Ани и там оставила грузинские гарнизоны. Даже византийцы начали признавать преимущество Баграта и повысили его ранг с
Вместе с матерью и придворными Баграт поехал в Константинополь, чтобы прояснить отношения. Пока он был в разъездах, мальчик-наследник, будущий Гиорги II, царствовал в Кутаиси. Но поездка превратилась в трехлетнее заложничество, и коварный Липарит уговорил доверчивую царицу Борену, что Баграт больше никогда не вернется. В результате Борена разрешила Липариту перевезти Гиорги в Иберию в собор Руиси, где Липарит венчал Гиорги на иберийское царство под регентством Гурандухт, сестры Баграта, и себя самого, взявшего роль дядьки нового царя. Борена, должно быть, затосковала: муж был заложником византийцев, а сын марионеткой Липарита; ей приписывают строки, написанные некой Бореной под образом Богородицы в одной сванской церкви:
Византийцы, естественно, хотели, чтобы Грузия раскололась точно так же, как раскололась Армения, хотя единое сильное грузинское самодержавие против сельджукской угрозы им было бы больше на руку, чем мешанина из сварливых маленьких княжеств. К середине 1050-х годов Византия поняла, в чем состоит выгода: по просьбе Гурандухт они освободили Баграта, но при условии, что его не по чину умная мать останется еще на два-три года в Византии. Мариам ездила по святым местам и монастырям Анатолии: ее с трудом отговорили от поездки в Иерусалим, на который уже покушались сарацины. Византийцы продолжали признавать царство Баграта, к 1062 году называя его даже
Судьбу Липарита предопределило именно это заявление. Местная знать в Самцхе, в особенности Сула Калмахели и его родня, возненавидела наглого выскочку. В 1058 году году Баграт без сопротивления арестовал Липарита вместе с сыновьями Иванэ и Няней, повез их в Кутаиси и, лишив самозванца потомственного удела (Триалети), привязал к виселице. Вместо того чтобы казнить мятежника, Баграт сжалился, постриг его в монахи и сослал в Константинополь. Сыновей тоже сослали: Няня умер в Армении, Иванэ, хотя его пустили на исконные земли Багвашей в Аргвети, добровольно поехал в Византию. Из Константинополя Липарит написал Баграту, предлагая отдать царю все владения Багвашей, если только Баграт позволит сыну Иванэ опять поселиться в Грузии. Согласившись, Баграт допустил роковую ошибку.