Несмотря на стремление экипажа поскорее вернуться к затонувшему судну, предстояло еще привести корабль в надлежащее состояние. «Джемс энд Мэри» пришлось поочередно положить то на левый, то на правый борт, чтобы очистить корпус от наростов. Те же операции проделали и с кораблем «Генри оф Лондон», чтобы придать ему «лучший ход». Затем пополнили запасы продовольствия солениями по рецептам испанской кухни, и оба корабля покинули Пуэрто-Плата 17 февраля, а 22 февраля уже бросили якоря у рифа Силвер-Банк. Не успели матросы отдать якоря, как Уильям Ковелл убедил их незамедлительно приступить к поискам, и до наступления ночи они подняли на борт немало золотых монет. Возбуждение охватило весь экипаж. Если позволяла погода, моряки целый день ныряли в воду. Сначала добытые сокровища регистрировались судовым писцом, но по мере того как они накапливались на борту «Джемс энд Мэри», стали считать только восьмиреаловики, серебряные слитки и блюда из драгоценных металлов. Позднее, когда наступили спокойные деньки, монеты и слитки были тщательно взвешены. Все было зарегистрировано в бухгалтерских книгах, которые вели Томас Уодингтон, доверенное лицо Фиппса, и бывший паж герцога Олбермарлского Чарлз Келли. Бухгалтерские записи свидетельствовали о том, что водолазы добрались до сокровищницы галиона. Они подняли на борт серебряные блюда, хранившиеся в разбитых сундуках, и мешки с монетами. Все это, вместе взятое, весило 1139 фунтов. Из-за плохого самочувствия водолазов и по воскресным дням работа иногда прекращалась даже в хорошую погоду. Однажды под напором ветра «Генри оф Лондон» сорвало с якорей, и его руль был сломан. Судно чуть было не разбилось о коралловые скалы, но ловкость капитана и опыт команды спасли его от неминуемой гибели.
Работы у рифа велись уже два месяца. Матросы и водолазы выбились из сил. Время от времени какой-нибудь туземец, задыхаясь, поднимался на поверхность бледный как смерть. Он дрожал от холода, и из горла шла кровь. Сокровища добывались ценой нечеловеческих усилий. Истощение запасов продовольствия, отвратительная вода, загнившая в бочонках, и вид сокровищ, ежедневно извлекаемых из обломков, довели экипаж до отчаяния, назревал бунт. Потребовался весь авторитет Фиппса и его твердое обещание, что каждый получит свою долю сокровищ, чтобы сохранить спокойствие и продолжить работы.
Однажды утром люди с «Джемс энд Мэри» и «Генри оф Лондон» были неприятно удивлены появлением у рифа Силвер-Банк легкого шлюпа, который бросил якорь по соседству с затонувшим судном. Им управляли два человека, Уильям Дэвис и Абрэхэм Эддерли, сопровождавшие Фиппса во время его первой неудачной вылазки. Фиппсу нечего было их бояться. Одного залпа из 22 пушек было бы достаточно, чтобы отправить на дно шлюп вместе с теми, кто находился на его борту. Несомненно, никто в Карибском море не заявил бы претензий по этому поводу.
Но Фиппс предпочитал договориться с непрошеными гостями по-хорошему. Он заключил с ними соглашение, по которому пришельцы получали право исследовать местность вокруг затонувшего судна при условии передачи Уильяму половины находок. Бостонцу разрешалось также пользоваться шлюпом Дэвиса и лодкой, принадлежавшей Эддерли.
Водолазным колоколом, к которому прибегали уже неоднократно, было трудно манипулировать, особенно когда на море поднимались волны. К тому же пересеченный рельеф морского дна и остроконечные коралловые скалы лишали эту ныряющую лоханку всякой надежности.
Оставшиеся на затонувшем судне мешки с деньгами и золотыми слитками находились в нижнем трюме, и доступ к ним становился все труднее и труднее. Водолазы теперь часто поднимались на поверхность с пустыми руками. Они утверждали, что на галионе не оставалось ничего сколько-нибудь ценного, по крайней мере в доступных для поиска местах.
Фиппсу удалось уговорить лучшего из водолазов проникнуть глубже в разрушенный корпус. Этот человек долго оставался под водой, и, когда поднялся на поверхность, по лицу его струилась кровь. В лодку водолаза пришлось втащить на руках. Он сообщил, что нашел большой сундук, но такой тяжелый, что его не удалось даже сдвинуть с места.
Потребовалось три дня, чтобы застропить сундук, вытащить его из трюма и поднять на борт «Джемс энд Мэри». Когда его вскрыли топорами, оттуда посыпались жемчуг, изумруды, бриллианты, золотые украшения, статуэтки неизвестных богов с загадочными выражениями и хрустальные бокалы, разбившиеся с музыкальным звоном.
Эта сказочная добыча вдохнула силы в охотников за сокровищами. Однако питьевая вода и продовольствие были на исходе, и Фиппс 29 марта отправил на Ямайку шлюп для пополнения припасов. Дожидаясь его возвращения, водолазы продолжали погружения, но теперь они уже были не в состоянии обшаривать трюмы галиона, даже рискуя жизнью. В ход были пущены крюки и кошки разной величины и формы, которые Фиппс велел выковать специально для этой цели. Но морякам не удалось вскрыть ни обшивку судна, ни палубу, которые буквально окаменели от наросших ракушек и кораллов.