Это случилось в августе 1723 года. В течение двух последующих месяцев удача не сопутствовала пиратам. Когда истек второй месяц, Филмор напомнил Филлипсу о его обещании отпустить его на свободу, на что последний, «усмехнувшись, ответил, что с тех пор, как я присоединился к ним, добычи стало совсем мало; что отпустить меня сейчас он не может, но если я пробуду с ними еще три месяца, то он дает слово чести подарить мне свободу. Я вынужден был смириться с его требованием и поверить его честному слову, хотя, как в конце концов выяснилось, он надо мной просто издевался».
Дела пиратов шли все хуже и хуже. Придя в октябре 1723 года в Вест-Индию, они около трех месяцев бороздили море, не встретив ни единого судна, и совсем отощали с голоду. В день на десять человек выдавался лишь фунт мяса. Наконец им попалось французское судно береговой охраны с Мартиники, имевшее на борту двенадцать орудий и тридцать пять человек команды. Шансов захватить его было крайне мало, но Филлипс решил рискнуть. Вспомнив поговорку, что «голод и каменные стены разрушит», они подняли черный флаг и догнали французов, которые так сильно испугались, что сдались без единого выстрела. Четверо из них вступили в команду пиратов, которые забрали с их корабля всю провизию и отпустили.
Пиратское судно нуждалось в очистке, и Филлипс отправился на Тобаго, надеясь встретить там шестерых или восьмерых своих бывших товарищей и трех негров, которых оставили на этом острове после распада команды Энстиса. Они без труда добрались до Тобаго, но никого, кроме одного негра, там не оказалось. Тот рассказал им, что пиратов захватили военные моряки, отвезли на Антигуа и повесили. Филлипс забрал к себе этого негра, которого звали Педро, очистил свое судно и собирался уже было уйти в море, как в гавань вошел военный корабль. Не теряя времени, Филлипс поднял паруса, покинул бухту и отправился в наветренную сторону. Четырех французов оставили на берегу, предоставив их своей судьбе.
Филмор решился снова напомнить Филлипсу о его обещании. Я «вежливо попросил его отправить меня на берег… чтобы я мог вернуться к матери, которая ничего не слышала обо мне с тех пор, как мой прежний капитан вернулся из своего первого плавания на рыболовные промыслы.
– Отпустить тебя на свободу? Пошел ты к черту! Ты получишь ее, когда меня повесят и никак не раньше, – ответил Филлипс, пылая от гнева, [и его ответ был] больше похож на дьявольский рык чудовища из преисподней, чем на слова существа, наделенного разумом и душой и способного испытывать человеческие чувства».
Филмор понял: надеяться на то, что капитан отпустит его, нечего, и стал ждать, когда их захватит более сильное судно или у них появится много новых пленников, с которыми можно будет составить план спасения, еще до того, как Филлипса поймают.
Покинув Тобаго, пираты захватили шняву, и Томас Ферн, плотник, вместе с Уильямом Филлипсом и двумя другими членами команды, Вудом и Тейлором, перешли на приз. Эта компания решила сбежать вместе с захваченным судном, но Джон Филлипс, увидев это, погнался за ними и начал стрелять. Вуд был убит, а Уильям Филлипс ранен в ногу, да так сильно, что ее пришлось ампутировать. Эту операцию проделал плотник Ферн, который вместе с Тейлором сдался Филлипсу. Он взял пилу и отрезал Уильяму ногу «столь же быстро, как если бы ему пришлось разрубить сухую доску надвое». Раскалив на огне топор, он прижег рану, но, несмотря на столь варварскую хирургию, Уильям Филлипс выздоровел.
Двигаясь на север, пираты захватили португальское судно, шедшее в Бразилию, и несколько шлюпов с Ямайки, на одном из которых Ферн снова попытался сбежать, но был убит капитаном Филлипсом. Через несколько дней еще один член команды разделил судьбу Ферна, по той же самой причине. Жестокая расправа на какое-то время погасила у других желание бежать, но Филмор продолжал наблюдать и ждать удобного случая. 25 марта 1724 года пираты встретили два судна, которые шли из Лондона в Виргинию. На одном из них капитаном был Джон Филлипс, на другом – Роберт Мортимер, прекрасный молодой моряк. Пират Филлипс и два моряка из его экипажа находились на судне Мортимера, когда до них донесся крик, что на судне захватчиков вспыхнул мятеж. Услышав это, Мортимер решил избавиться от пиратов. Он ударил Филлипса пикой и сильно поцарапал, но не убил. Пиратский капитан пронзил Мортимера саблей. Два других разбойника бросились ему на помощь, изрубили Мортимера в куски и выбросили в море. Люди молодого капитана даже не пошевелились, чтобы спасти его. Так закончилось его первое самостоятельное плавание. На этом же корабле плыл его брат, разбойники бросились искать его, чтобы убить, но среди них оказался земляк Мортимера, который спрятал его, и юноша сидел в убежище до тех пор, пока гнев Филлипса не утих. Поскольку плотник Ферн погиб, из экипажа честного Филлипса насильно забрали плотника Эдварда Чизмена, который занял его место.