Испанцы привезли много рабов и слуг, среди которых были метисы, или полукровки, и индейцы. Они-то и должны были проложить путь через скалы, чтобы доставить пушки на вершину и устроить батарею, которая открыла бы огонь по форту и принудила французов сдаться. Но как только испанцы принялись за дело, французы нашли способ отбить пушки. Ночью на Тортуге высадились охотники и пираты и тайком взобрались на вершину горы по ее северному склону. К таким делам они были вполне привычны. Испанцы с большим трудом все же втащили пушки на гору, рассчитывая обстрелять форт на следующий день. Они не подозревали о вылазке французов. Но утром (а к тому времени они привели пушки в порядок) французы неожиданно напали на них с тыла и многих из них сбросили с горы. Ни один из испанцев не уцелел, все переломали себе шеи и ноги. Остальных французы тоже перебили без всякой пощады. Те испанцы, которые остались на берегу, поняли, что произошло нечто ужасное, и тут же отплыли и больше уже не пытались захватить остров».
Справедливости ради отметим, что ряд исследователей отрицает возможность испанского нападения на Тортугу в 1643 году, поскольку в испанских архивах не обнаружено документов, подтверждающих это. Информация Жоржа Блона о том, что испанцы в 1645 году на 5 галеонах с 600 солдатами пытались захватить Тортугу, также не подтверждается историческими источниками.
Укрепив свою власть на Тортуге, Левассёр вскоре превратился в настоящего диктатора. Если верить дю Тертру и Шарлевуа, он обложил колонистов непосильными налогами и повинностями и управлял островом «скорее как король, нежели как губернатор». Католики были подвергнуты жестоким преследованиям, их часовня сожжена, а священник изгнан. Отец Марк, монах-капуцин, проплывавший на судне мимо Тортуги и вынужденный укрыться в ее гавани из-за шторма, тоже был изгнан. Превратив Тортугу в оплот протестантов, Левассёр начал бросать неугодных ему людей в темницу, имевшуюся в башне форта. Эта темница называлась «Чистилищем». В ней находилась железная дыба, на которой узников пытали, подвешивая за голову, руки и ноги. Она называлась «Адом». От тирании Левассёра в конце концов пострадал даже протестантский пастор Рошфор (автор знаменитой «Истории Антилл»), который поссорился с губернатором и едва избежал знакомства с его «адской машиной».
Желая избавиться от Левассёра, превратившего Тортугу в «маленькую Женеву» (то есть оплот кальвинизма), директора Компании островов Америки на своем заседании 2 марта 1643 года (или, по данным Моро де Сент-Мери, 2 марта 1644 года) постановили рекомендовать господину де Пуанси «неожиданно захватить Левассёра на острове Тортуга», а сам остров забрать в ленное владение командора. Последний решил передать управление островом своему племяннику и ближайшему помощнику Роберу Блонделю де Лонвийе де Пуанси. Весной того же года Робер де Лонвийе и контролер де ла Вернад отправились на Тортугу, намереваясь заманить Левассёра на Сент-Кристофер. Однако губернатор-гугенот не дал себя одурачить. Приглашение командора посетить Сент-Кристофер, чтобы «получить там подкрепления» для основания крупной колонии на Сен-Доменге (т. е. в западной части Гаити), он вежливо отклонил, сославшись на то, что в его отсутствие испанцы могут вновь неожиданно напасть на Тортугу и истребить всех жителей. В итоге посланцы Пуанси вынуждены были уехать из Бастера ни с чем.
Наряду с репутацией «гнезда протестантов», Тортуга укрепила также свой статус крупной пиратской базы, интерес к которой со стороны морских разбойников различных национальностей особенно возрос после уничтожения испанцами английской базы на Провиденсе. Левассёр от своего имени стал выдавать флибустьерам каперские свидетельства на право грабежа испанских судов и поселений в Америке, получая за это определенную мзду. Не случайно дю Тертр отмечал, что пираты Тортуги, «захватывая у испанцев богатые призы, смогли быстро обогатить как жителей, так и губернатора».
О пиратских акциях, совершавшихся ловцами удачи с Тортуги в 40-е и начале 50-х годов XVII века, сохранились лишь отрывочные сведения. Так, в 1648 году некий отряд флибустьеров высадился на побережье Эспаньолы и ограбил испанское поселение Асуа В том же году, в июне, английские пираты под командованием капитана Абрахама (возможно, Абрахама Блауфелта) разорили городок Саламанка-де-Бакалар в юго-восточной части Юкатана, близ Белиза В конце августа капитан Робер Мартэн, пользовавшийся особым доверием Левассёра и получивший от него каперское свидетельство, захватил в районе Гаваны два испанских приза с грузом какао. Кубинский губернатор дон Диего де Вильяльба-и-Толедо, рыцарь ордена Сантьяго, реквизировал два частных галеона, снабдил их солдатами и пушками и отправил на поиски корсара Однако оба галеона сели на мель, и для их спасения пришлось снаряжать в Гаване специальную спасательную команду. Тем временем Мартэн в конце ноября прибыл в Ла-Рошель, где пытался продать свою добычу. Власти города признали его призы незаконными и конфисковали их.