Впрочем, неудача не остановила буканьеров: они вознамерились атаковать Панаму, однако недостаток сил и разногласия руководителей сделали невозможным задуманное предприятие.
Яростная морская битва с испанцами на рейде Панамы закончилась их победой, но капитан Харрис погиб, и сил для штурма города было недостаточно — пираты отступили.
Братство преследовала полоса неудач. В блужданиях по Панамскому заливу им время от времени, правда, везло, и тогда буканьеры захватывали испанские суда (как, например, 400-тонный испанский барк «Сантиссима Тринидат», переименованный в «Тринити»), но в целом положение складывалось угрожающее: силы пиратов таяли в столкновениях с испанцами, распри главарей вызвали уход в Карибское море главнокомандующего Коксона и 70 буканьеров, провалилась попытка захвата города Пуэбло-Нуэва (при этом погиб новый главнокомандующий капитан Соукинс), выбором нового руководителя Шарпа были недовольны 63 человека из отряда Соукинса, и, отказавшись подчиняться новоиспеченному командующему, они также покинули основные силы.
Дампир остался с Шарпом. Со страниц его дневника предстает картина тотального невезения и сплошных провалов, сопровождавших деятельность нового командующего. Захватив испанский барк в бухте Гуаякиля, пираты предприняли неудачную попытку разграбления Арики на перуанском побережье, а затем напали на городок Ла-Сирена, где, по расчетам Шарпа, должно было быть много золота. Однако в этом симпатичном поселении, аккуратные дома которого были окружены фруктовыми садами, они нашли только урожай земляники,
К Рождеству буканьеры обосновались на острове Хуан-Фернандес у чилийского побережья. Вновь возникли разногласия — недовольные пираты сместили Шарпа, надели на него наручники и бросили в трюм. Главнокомандующим был избран Джон Уотлинг. В январе 1681 года братство отплыло с острова, причем в спешке и суматохе разбойники оставили на пустынном берегу индейца Уильяма, с которым мы еще встретимся в нашем рассказе. Буканьеры направились к Арике, но вновь потерпели неудачу и с большими потерями были отброшены от города, причем при штурме погиб Уотлинг и два квартирмейстера. Шарпа снова избрали главнокомандующим, что вызвало очередную волну разногласий и раскол. Дело в том, что большинство на «Тринити» поддержало план Шарпа обогнуть Южную Америку у мыса Горн, а меньшинство пиратов во главе.с Джоном Куком (44 человека), несогласные с этим
Переход через Панамский перешеек занял 23 изнурительных дня, пока, наконец, измученные буканьеры не выбрались на Атлантическое побережье в районе Санд-Кей. 24 мая они обнаружили в бухте французское пиратское судно под командой капитана Тристьяна и присоединились к его команде. На каждого из участников Панамского рейда оставалось по полдоллара — все богатство, нажитое во время экспедиции.
У Атлантического побережья Панамы, помимо капитана Тристьяна, плавало еще несколько буканьерских судов, команды которых составляли: английские экипажи капитанов Коксена (10 пуш., 100 чел.), Пейна (10 пуш., 100 чел.), Райта (4 пуш., 40 чел.), Уильямса, совместный англо-голландско-французский экипаж капитана Янки (4 пуш., 60 чел.) и французские экипажи Аршамбо (8 пуш., 40 чел.), Тюкера (6 пуш., 70 чел.) и Роуза.