Фортуна недолго покровительствовала Олоне и однажды (очевидно, в конце 1664 года) отвернулась от него. «У берегов Кампече при штормовом северном ветре он потерял корабль, — сообщает Эксквемелин, — и, спасая жизнь, вынужден был со всей своей командой высадиться на сушу. Испанцы заметили пиратов и большую часть их перебили. Олоне, зная, что ему нельзя ждать пощады от испанцев, и не будучи в силах убежать от них, ибо он был ранен, вымазался кровью и забрался под лежащие вповалку трупы. Когда враги ушли, он отполз в кусты и перевязал раны, облачился в испанское платье и отправился в Кампече Встретив там несколько рабов, он завязал с ними беседы и обещал, что добьется для них свободы, если они подчинятся его велениям. Рабы поверили ему, украли у своего хозяина каноэ и отправились вместе с этим разбойником на Тортугу. Испанцы же, бросив уцелевших товарищей Олоне в тюрьму, стали допрашивать о нем, но те, ничего толком не зная, ответили, что Олоне погиб. Тогда испанцы отслркили благодарственные молебны и отпраздновали победу, благодаря Создателя за то, что он избавил их от страшного разбойника».
Тем временем Олоне, пустившись в плавание на каноэ, благополучно достиг Тортуги. Там он решил во что бы то ни стало добыть себе другой корабль. В 1665 году Олоне опять отправился в море на небольшом корабле, приобретенном хитростью. Команда судна насчитывала чуть более двух десятков человек.
«Его путь лежал к северному берегу Кубы, в городок Ла-Вилья-де-лос-Кайос, который вел торговлю с Гаваной кожами, табаком и сахаром, — продолжает свой рассказ Эксквемелин. — Море в тех местах неглубокое, и испанцы плавают там не на кораблях, а на лодках. Олоне решил захватить несколько лодок, но пиратов приметили местные рыбаки, которым, к счастью, удалось бежать от Олоне. Они тотчас же отправились в Гавану по суше и доложили тамошнему губернатору (дону Франсиско Давиле Орехону. — В.Г.), что на берегах Кубы появился французский разбойник Олоне с двумя каноэ, что они боятся этого изверга и не осмеливаются вести торговлю, пока он находится в их водах. Губернатор не поверил им, потому что получил письмо из Кампече, а в письме этом сообщалось, что Олоне убит. Однако по просьбе испанцев он приказал снарядить корабль, вооружить его десятью пушками и посадил на него девяносто солдат, отдав им приказ не возвращаться, пока разбойники не будут истреблены. С ними он послал и одного негра-палача и велел ему обезглавить всех разбойников, исключая их вожака. Его губернатор велел доставить в Гавану живым. Итак, этот корабль отправился в Ла-Вилья-де-лос-Кайос; испанцы думали захватить разбойников врасплох, но сами попали впросак, потому что пираты узнали от рыбаков, которых им удалось захватить, и о корабле, посланном в эти места, и о тех карах, которые им посулили испанцы. А рыбаки хотели нагнать страху на пиратов, чтобы те покинули их берега. Но Олоне решил подстеречь корабль и захватить его».
Засада была устроена в устье реки Эстера Когда испанский корабль появился у берега, — а это случилось в два часа ночи, — пираты спрятались за деревьями и заставили пленных рыбаков подать голос С корабля их спросили, не видели ли они разбойников, и рыбаки ответили, что не видели. Тогда испанцы поверили, будто пираты скрылись при их приближении.
«Однако на следующее утро они убедились, что произошло совсем не то, на что они надеялись, — пишет Эксквемелин. — Испанцы тотчас же приготовились к бою и открыли огонь с обоих бортов по пиратским кадоэ. Выдержав два или три залпа, разбойники улучили удобный момент и бросились на корабль с саблями в руках. Их атака была так стремительна, что они мгновенно загнали всех испанцев в трюм. Олоне приказал им вылезать из люка поодиночке и рубил головы всем подряд. Когда он расправился с доброй половиной испанцев, из люка выглянул негр-палач и закричал: «Senor capitan, no me mate, yo оs dire la verdad!» что означало: «Господин капитан, не убивайте меня, я скажу всю правду!» Олоне выслушал его и, закончив свою работу, то есть снеся головы всем остальным испанцам, вручил негру письмо губернатору Гаваны. При этом он поклялся, что и впредь не оставит в живых ни одного испанца, и дал торжественный обет, что скорее наложит на себя руки, чем отдастся испанцам. То же было сказано и в письме, где он добавлял, что надеется когда-либо захватить самого губернатора и поступить с ним по своему усмотрению. Губернатор Гаваны, получив известие о такой необыкновенной победе, рассвирепел и поклялся предать смерти всех разбойников, каких только удастся захватить в этих водах. Однако жители Кубы умолили его не делать этого: ведь разбойники без труда могли истребить целую сотню испанцев, прежде чем губернатору удалось бы поймать хотя бы одного пирата».