Колония этих бродяг вскоре получила свое место в истории и литературе, благодаря двоим братьям Жану и Пьеру Лафитам. Одни утверждают, что они были родом из Байонны, а другие – из Бордо, но скорее всего, из первого города. Оба отправились странствовать в море. Говорят, что Жан стал моряком в 13 лет и, совершив несколько плаваний к западному побережью Африки и в обе Индии, сделался помощником капитана на французском корабле Ост-Индской компании, который был приписан к Мадрасу. У мыса Доброй Надежды судно было повреждено штормом и зашло для ремонта на остров Маврикий, где Лафит поругался с капитаном и покинул его. Маврикий со времен Американской революции был гнездом каперов, и Лафит без труда нашел себе место капитана на судне, имевшем лицензию на захват британских кораблей. Английские корабли попадались редко, но Лафит не гнушался захватом голландских и португальских торговцев, за которыми он охотился в Мадагаскарском проливе, подобно пиратам, и закончил свою карьеру, приняв на Сейшельских островах рабов, которых должен был отвезти на Маврикий. Преследуемый британским фрегатом, он ушел на север в Бенгальский залив и, испытывая нужду в продовольствии, храбро возобновил свои каперские захваты. Водоизмещение его судна равнялось 200 тоннам, оно имело два орудия и экипаж из 26 человек. Несмотря на это, Лафит сумел захватить хорошо вооруженную британскую шхуну, на которую перевел свою команду, и двинулся вдоль побережья Бенгалии. В устье Ганга, сделав вид, что его судно является добропорядочным лоцманским кораблем, он сумел обмануть капитана корабля Британской Ост-Индской компании «Пагода», имевшего 12 орудий и 150 человек команды. Тот, не ожидая никакого подвоха, подошел на близкое расстояние; пираты ринулись на абордаж и быстро захватили его, а потом привели в Маврикий. Здесь, приняв под свою команду сильный каперский корабль «Уверенность» (La Confiance) с 26 пушками и экипажем из 150 моряков, Лафит снова отправился к побережью Бенгалии.
У Сенд-Хеда в октябре 1807 года он подкараулил «Королеву» (Queen), один из самых крупных кораблей Британской Ост-Индской компании. На ней стояло сорок орудий, а команда насчитывала около четырех сотен человек. Быстро маневрируя, он подошел к «Королеве», она дала залп, но пираты легли на палубу, а потом вскочили и закидали англичан бомбами и гранатами. На «Королеве» началась паника, абордажная команда из сорока человек очень быстро оттеснила защитников на корму, где они попытались дать отпор. Однако, после того как Лафит, возглавивший вторую атаку, собственноручно убил капитана и направил каронаду, заряженную шрапнелью, на защитников, пригрозив уложить их на месте, сопротивление прекратилось. «Королеву» с триумфом привели на остров, а слава Лафита разнеслась по всем морям. Каперы Маврикия сделались такими сильными, что корабли Ост-Индской компании стали ходить от мыса Доброй Надежды до места своего назначения в сопровождении сильных конвоев. Каперам теперь нечем было поживиться, поскольку захват судов сделался очень рискованным делом. Тогда Лафит обогнул мыс Доброй Надежды и отправился в Бенинскую бухту, захватив по дороге два приза с пальмовым маслом, слоновой костью и небольшим количеством золотого песка, который он благополучно доставил в Сен-Мало. Африканские и индийские воды сделались небезопасными, поэтому Лафит, снарядив бригантину, имевшую на борту 20 орудий и 150 человек команды, ушел в Вест-Индию, где сделал своей базой Гваделупу.