День за днем палящие лучи солнца раскаляли голые песчаные дюны, по которым голые люди длинной чередой волокли тяжелые камни. Стены форта становились все выше, но строители были уже не в состоянии выносить все возраставшую нагрузку. Постепенно от истощения и перенапряжения, дизентерии и лихорадки умерли триста португальцев и почти все малабарцы. Нередко строители падали мертвыми прямо во время работы.
Случайно губернатору стало известно, что флотские медики не слишком добросовестно исполняют свой врачебный долг, и даже отказываются бесплатно посещать больных (не говоря уже о том, чтобы бесплатно их лечить)! Дом Афонсу вызвал нерадивых эскулапов «на ковер» и поинтересовался причинами столь высокой смертности среди строителей форта. Когда ученая братия стала «пудрить мозги» генерал-капитану, не давая ему четкого ответа на поставленный вопрос, губернатор взорвался: «Раз Вы, врачи, состоящие на королевском жаловании, не знаете причин заболеваний Ваших пациентов, придется мне поближе познакомить Вас с болезнью, от которой они умирают!»
Он заставил эскулапов таскать камни для форта до самой ночи, после чего отпустил их восвояси, сказав на прощание: «Ученым мужам, написавшим медицинские книги, помогающие Вам грести деньги лопатой, были неведомы болезни, вызываемые тяжелым трудом. Теперь, когда я дал Вам возможность познакомиться с ними на собственном опыте, Вы, полагаю, сможете лечить моих больных людей. Не забудьте при этом делиться с пациентами деньгами, так легко Вам достающимися. По-дружески советую Вам так поступать, ибо, право, не хотелось бы видеть Вас в роли скованных цепями гребцов на галерах!»
Несмотря на изнурительный тяжелый труд в ужасную жару, никто из строителей не жаловался и не возмущался — все видели, что губернатор делил с ними все тяготы. Так, во всяком случае, пишет хронист.
Если Албукерки считал какую-либо работу необходимой, она должная была, по его мнению, быть выполнена, пусть даже ценой здоровья и самой жизни. Тем не менее, дом Афонсу воздавал должное усердию и трудолюбию своих португальцев. И потому подчеркивал в своем последнем письме дому Мануэлу: «Рыцарям и фидалгу, завоевателям целых царств и покорителям столь многих городов, поверьте, очень горько умирать во время перетаскивания камней, как умер недавно Гарсия Куэлью».
Сам Албукерки в начале августа заболел дизентерией, причем в весьма тяжелой форме, «ибо он — человек преклонных лет и сильно истощен». В действительности губернатор португальской Индии не был таким старым, каким казался своему молодому секретарю — скорее всего, ему не было и пятидесяти пяти лет от роду. Но дом Афонсу никогда не позволял себе «расслабиться», взять отпуск, просто отдохнуть. Несмотря на жестоко мучившую его «поносную болезнь», он с утра до вечера руководил всеми работами, пока не слег окончательно в конце сентября. На протяжении одиннадцати дней он не общался ни с кем, кроме своего слуги и верного Перу д’Алпойма, прозванного «тенью губернатора».
Это неожиданное исчезновение движущей силы строительства нового форта не замедлило сказаться буквально во всем. Все работы застопорились. Португальцы начали по разным поводам конфликтовать с туземцами. По городу Ормузу поползли слухи о смерти губернатора.
Между тем, старый рыцарь Ордена Сантьягу был все еще жив, хотя и совершенно обессилен болезнью и переутомлением. Пока же Албукерки был жив, он знал обо всем, что творилось в зоне его ответственности. Узнав о положении дел в Ормузе, принимавшем все более угрожающий оборот, дом Афонсу решил что не может позволить себе роскоши продолжать почивать без забот на больничной койке. Он приказал перенести свою постель из внутренних покоев к окну, выходившему на стройплощадку. Оттуда губернатор, видный всем и каждому, мог не только наблюдать за ходом строительных работ, но и разговаривать с каждым из строителей. Его состояние все ухудшалось, но возобновившееся под его надзором строительство форта продвигалось все дальше. Албукерки твердо рассчитывал в декабре быть в Гоа, не подозревая о том, что Гоа уже находится под фактическим управлением назначенного ему королем Мануэлом преемника — Лопу Суариша…
Королева Португалии, более разумная и дальновидная, чем ее самодовольный и самовлюбленный державный супруг Мануэл, как во всех вопросах до того, долго заступалась за Албукерки, прося оставить его на посту губернатора Индии, и даже обратилась к своему венценосному отцу — королю Арагона — ходатайствовать об оставлении Албукерки в этой должности. Но умный испанец предпочел не вмешиваться в дела соседней державы, его не касающиеся. Хотя и заметил, как бы мимоходом, в беседе с посланником Португалии, что не понимает, чего его венценосный зять Мануэл хочет добиться, отзывая Албукерки с Востока.