Моряки, несомненно, рассчитывали найти в лице Адамса сторонника и были возмущены, когда он отказался поддержать их претензии. Чтобы выразить свое негодование, они все вместе отправились к дому, в котором тот проживал в Хирадо, и некоторое время осыпали его оскорблениями, а затем схватили с намерением избить. Адамс решительно сопротивлялся и с помощью находившихся в доме других японцев ему удалось отразить нападение. Новое оскорбление, последовавшее сразу после того, что произошло на борту «Гифт-оф-год», не могло не встревожить Адамса, поскольку оно свидетельствовало о том, что он уже не имел в Японии прежней силы. Во времена Иэясу нападение какого-нибудь японца на Адамса было столь же немыслимым, как и покушение на самого сёгуна. Сама возможность подобных унижений являлась грустным подтверждением того, что англичанин не мог больше рассчитывать на благосклонность и защиту двора, какой пользовался ранее.
Через восемь дней после неприятного инцидента в Хирадо Адамс вновь отправился ко двору, чтобы попытаться убедить Хидэтада расширить границы торговых привилегий, дарованных им английским купцам в предыдущем году. Кокс сделал то же самое, но отдельно от Адамса, который большую часть пути преодолел на своем судне. Плавание оказалось весьма неудачным: судно дало течь, и Адамс потерял почти все свои товары, а в придачу едва не погиб сам. 12 сентября он присоединился к прибывшему ко двору Коксу, и тот сразу попросил его начать переговоры с чиновниками сёгуна.
13 сентября Адамс начал подготавливать почву. Стараясь смягчить напряженность, он преподносил подарки сёгуну и придворным. Адамс также передал доставленный в Японию ответ на «послание» Иэясу — второе письмо от английского короля Якова I. 15 и 16 сентября Адамс, решив создать при дворе более благоприятную обстановку, занимался раздачей дополнительных подарков. Сделав все возможное, чтобы добиться расположения сёгуна и придворных к англичанам, 16 сентября он представил Хидэтада петицию английских купцов с просьбой расширить их привилегии.
Ежедневно, вплоть до 23 сентября, Адамс целыми днями ждал при дворе ответа, но безуспешно. Ранним утром он приходил ко двору и оставался там целый день, не имея фактически даже возможности перекусить, поскольку не желал дать придворным чиновникам повод для задержки. Они же, естественно, относились к власти и влиянию, которыми Адамс обладал при Иэясу, столь же ревниво, как и их хозяин Хидэтада, и теперь испытывали глубочайшее наслаждение, самым унизительным образом заставляя англичанина ждать. В эти дни Адамс испытал сильнейшее разочарование, какое только может постичь заносчивого и самолюбивого человека в подобных обстоятельствах. В дневнике от 19 сентября Кокс нарисовал следующую мрачную картину утомительных бдений Адамса, которые продолжались и в последующие дни:
«Сегодня утром капитан Адамс снова отправился ко двору, поскольку вчера вечером вернулся с ответом, что ему следует снова прийти на следующий день. Весь вчерашний день он провел там с утра до ночи и ничего не ел. Повторилось то же, что и в предыдущие дни…»
Можно представить, какие мысли проносились в голове этого гордого и упрямого человека, когда день за днем он проводил в ожидании при дворе, понапрасну надеясь добиться благосклонности сёгуна. Должно быть, он понимал, что дни его славы в Японии сочтены, а возможно, и кончились вовсе. И все же ради своей собственной репутации и ради Кокса он продолжал питаться лишь пирожками и ждать, ждать…
Наконец 23 сентября Адамсу доставили ответ сёгуна на петицию англичан. Ответ был отрицательный, в нем категорически заявлялось, что сёгун не предоставит англичанам больших привилегий, чем те, которыми пользуются прочие иностранцы в Японии, и еще раз подчеркивалось: английская торговля должна быть ограничена портом Хирадо. В дополнение к прочим неприятностям советники сёгуна сообщили Адамсу, что Хидэтада не будет отвечать на письмо короля Якова I, поскольку оно адресовано его отцу Иэясу, который к тому времени скончался. Подобные неудачи могли бы сломить любого, но только не такого стойкого человека, как Адамс. Он с подлинно японским стоицизмом и настойчивостью продолжал оставаться при дворе, почтительно умоляя сёгуна: если он не может даровать привилегию неограниченной торговли, то пусть по крайней мере будет настолько благосклонен, чтобы выдать англичанам два разрешения на торговлю (госён): одно — для плавания в Сиам, а другое — в Кохинхину. В конце концов настойчивость Адамса принесла плоды, и Хидэтада согласился выдать два госён. Таким образом, когда Кокс и Адамс покинули двор, это было единственным вознаграждением за их старания.