На 2 августа у Адамса был запланирован визит к голландским купцам, которые в это время находились в Хирадо. После долгих колебаний он наконец согласился взять с собой Кокса, одного из английских купцов. Впоследствии Кокс доложил Сэрису, что по просьбе голландцев Адамс отчитался за товары, которые для них продал. Это доказывало, что Адамс работает на тех, кто являлся в то время самым серьезным конкурентом Великобритании на Дальнем Востоке. Это еще больше настроило против него Сэриса и других членов экспедиции.
— Голландцы ему ближе, чем соотечественники, — изрек Кокс, и, покачав головой, добавил: — Да простит его бог!
Но все же, несмотря на крайнее возмущение поведением Адамса, Сэрису и английским купцам никак нельзя было без него обойтись, если они хотели основать в Японии торговую факторию, приносящую хорошие прибыли Ост-Индской компании. Поэтому 3 августа Сэрис вновь пригласил Адамса на обед. Лишь после настойчивых уговоров ему удалось наконец убедить Адамса остаться на ночь и обсудить с ним предстоящий визит англичан к сёгуну: ведь им надлежало получить дарственную на торговые привилегии.
И вот долгожданные переговоры начались. Несколько раз, конечно, они прерывались гонцами, которых посылали к Адамсу его португальские партнеры с просьбами срочно с ними встретиться. Адамс отказал гонцам (возможно, что все это было специально подстроено самим Адамсом с целью показать свое влияние и силу), и англичанам все-таки удалось обсудить некоторые детали предстоящего визита.
4 и 5 августа Адамс был снова неуловим. Вечером 5 августа кипящему от злобы Сэрису уже пришлось умолять Уильяма срочно встретиться с английскими купцами, чтобы окончательно решить все проблемы, связанные с поездкой ко двору, но Адамс лишь высказал сожаление по поводу того, что встреча не состоится, так как он зван на прием к своим испанским партнерам. Сэрису пришлось проглотить и это. Таким образом, Сэрис вынужден был отрабатывать последние детали важного визита без помощи Адамса. Наконец 7 августа все приготовления были закончены, и небольшое посольство, состоящее из 11 англичан, включая Адамса, покинуло Хирадо и отправилось к сёгуну добиваться получения дарственной на торговые привилегии.
Чтобы придать больший вес своей миссии, руководство Ост-Индской компании поручило Сэрису передать сёгуну письмо, подписанное королем Англии Яковом I. В письме говорилось: