К концу декабря, довольный тем, как идут дела в новой колонии, Албукерке погрузил трофеи на четыре судна — «Тринидад», «Энхобрегас», безымянную китайскую джонку, и свой «Флор де ла мар», который и нес львиную долю сокровищ. Он пообещал остающимся, что вскорости пришлет подкрепления и припасы.
Вопреки увещеваниям лоцманов, которые твердили, что уже слишком поздно для безопасного возвращения в Португалию, Албукерки и его четыре тяжело нагруженных судна отправились в плавание. Через два дня после того, как они покинули Малакку, его маленький флот попал в жестокий шторм, и «Энхобрегас» и китайская джонка пошли ко дну, не оставив ни одного выжившего. Несколько часов спустя «Флор де ла мар», с четырьмя сотнями душ на борту и с величайшими сокровищами, когда- либо находившимися на борту одного судна, напоролся на риф у северо-восточного окончания острова Суматра «Тринидад», проходивший невдалеке, бросил якорь с целью оказания помощи, но волны были настолько высоки, что все шлюпки были разбиты в щепу. Тогда Албукерки приказал соорудить плот и прыгнул на него вместе с пятью другими судовыми офицерами, обещая остальным скоро вернуться и привести помощь с «Тринидад».
Однако вместо того чтобы вернуться на покалеченный корабль, Албукерки приказал капитану обрубить якорную цепь и направляться к Индии. Через несколько часов «Флор…» разломился и скрылся в пучине. Только три человека смогло выжить, доплыв до берега. По достижении Индии Албукерки написал королю: «Мы потеряли величайшее сокровище на земле, какое я когда-либо видел».