Косса не стал дожидаться, пока его поджарят вместе с возлюбленной. Он убил стражника, который принёс ему ужин, переоделся в его одежду, убил охранника на тюремном дворе и сбежал в город. Далеко от тюрьмы Косса уходить не хотел: ему надо было освободить Яндру. Через ещё одну свою пассию, Иму Даверону, он смог передать весточку брату Гаспару. Через несколько дней объединённые силы пиратов и студентов взяли Болонью штурмом. Тюрьму разрушили, и Бальтазар вынес Яндру на руках. Вместе они скрылись в Пизу, неподалёку от которой их ждал корабль Гаспара.
Через год Бальтазар Косса уже имел под своей командой целую пиратскую флотилию, которая наводила ужас на североафриканское побережье и приморские области Испании, Франции и Италии. Пираты Коссы безжалостно грабили города и селения, но самую богатую добычу они находили в церквях и в мечетях. Свои отношения с командами адмирал Косса строил по-деловому. Он разработал договор, в котором были чётко прописаны доли от добычи для всех, от него самого до последнего юнги. Так же в этом контракте оговаривались страховые выплаты, которые пират мог получить в случае потери глаз, рук или других увечий. Этот справедливый документ так понравился пиратам, что на десятилетия стал типовым для морских разбойников.
Согласно легенде, удача отвернулась от Коссы, когда он после четырёх лет пиратства, в 1385 году, покусился на собор, окормлявший самих джентльменов удачи, и забрал оттуда все дары, пожертвованные Деве Марии его же коллегами. После этого жестокий шторм уничтожил всю его флотилию. На утлой шлюпке спаслись только четыре человека: сам Бальтазар, его ближайшие подручные Ринери Гуинджи и Гуиндаччо Буанакорса, а также Яндра. Буря улеглась только после того, как трое мужчин дали обет прекратить разбой и стать священниками. Шлюпку выбросило на берег, но почти сразу спасённых схватили местные крестьяне, заподозрив в них пиратов.
Отчаянно сопротивлявшихся пленников сдали страже, расположенной неподалёку от крепости Ночера. Как раз в это время там обитал папа римский Урбан VI. На тот момент он был одним из двух имевшихся в христианском мире пап и занимал престол в Риме, отчаянно конкурируя с Климентом VII, сидевшим в Авиньоне. Оба они называли друг друга антипапами и боролись за души католиков. Урбану, который в свободное от представления интересов господа на земле время очень любил наслаждаться зрелищами пыток и казней, срочно требовался помощник. Папа часто арестовывал оппозиционных ему кардиналов и, чтобы выбить из них признание в злонамеренности, был нужен жестокий дознаватель и палач. Неизвестно, каким образом Урбан обнаружил необходимые ему качества в арестованном пирате, но через несколько месяцев Косса стал его доверенным подручным.
Знания, полученные на теологическом факультете, позволили Бальтазару сделать быструю карьеру. Урбан по достоинству оценил его публицистические и дипломатические способности. Вот как цветисто выразился Косса, в очередной раз обличая конкурента своего шефа: «Правителю мрака, сатане, обитающему в глубине преисподни и окружённому легионом дьяволов, удалось сделать своего наместника на земле, антихриста Климента VII, главой христианства, дать ему советников – кардиналов, созданных по образу и подобию этого дьявола, сынов бахвальства, стяжательства и их сестёр – алчности и наглости». Такой слог не мог не заслужить похвалы.
В 1389 году Урбан VI умер. Получивший тиару Бонифаций IX, по некоторым сведениям, был знаком с семейством Коссы и всячески благоволил Бальтазару. В 1402 году он возвёл своего помощника в кардинальский сан. Секретарь Ватикана Дитрих фон Ним свидетельствовал: «Неслыханные, ни с чем не сравнимые „дела“ творил Косса во время своего пребывания в Риме. Здесь было всё: разврат, кровосмешение, измены, насилия и другие гнусные виды греха, против которых обращён был когда-то гнев Божий». Через год Бонифаций дал новому кардиналу ответственное поручение: усмирить Болонью, Перуджу и Осизу, осмелившихся отсоединиться от папских владений. Косса показал себя неплохим военачальником и дипломатом. Идеи независимости были подавлены в зародыше, а сам Бальтазар на долгие годы стал в Болонье папским легатом, а по сути – полноправным хозяином. По словам того же фон Нима, «только в Болонье Коссе удалось совратить более 200 женщин. Он поехал туда по поручению папы для решения различных вопросов, касающихся церкви и политики, но не забыл при этом и своих любовных дел. Любовницами его были монашки, а также замужние женщины, вдовы и девушки, жившие в монастырях. Некоторые из них любили его и добровольно становились его любовницами, но некоторые были грубо изнасилованы прямо в монастырях».