Каравелона прибыла в Санта-Глорию в конце июня 1504 года и 29-го числа ушла на Эспаньолу вместе со всеми выжившими, численностью около ста человек. По общему счету, Колумб и его люди пробыли на Ямайке один год и пять дней. Путешествие против ветра и течения в Санта-Доминго оказалось долгим и утомительным, да и само судно находилось не в лучшем состоянии. Его грот-мачта была сломана, паруса прогнили, а днище пропускало воду из-за плохого или старого конопачения. Команда с трудом удерживала каравелону на плаву. На долгое время она была задержана плохой погодой в Пуэрто-Бразиле (Жакмель) и на острове Беата, откуда 3 августа Колумб, выдерживая политес, отправил с посыльным благодарственное письмо Овандо. Десять дней спустя корабль достиг Санто-Доминго. На все путешествие ушло шесть с половиной недель. Овандо, делая вид, что очень рад видеть Адмирала, принял его в своем собственном доме, но показал свою истинную сущность, тут же отпустив Порраса на свободу. «Сладкая парочка» этих братьев так и не была никогда наказана за попытку организации мятежа, а после заселения Ямайки Франсиско получил на ней правительственную должность.
В Санто-Доминго был зафрахтован еще один корабль. На его борту Адмирал вместе с сыном и братом 12 сентября отплыл в Испанию. Большинство же выживших в четвертом плавании предпочли остаться на Эспаньоле и не заниматься мореплаванием (по крайней мере на тот момент). Позже некоторые из них стали первыми поселенцами на Пуэрто-Рико. Были и те, кто отправился домой на каравелле, которая привезла их с Ямайки. Она отплыла приблизительно в то же время, но сломала мачту у Озамы и была вынуждена вернуться. Только примерно в конце ноября «инвалидная» карвелона дошла до Испании (очевидно, на ней плыли и братья Поррас).
Обратный путь Адмирала домой на зафрахтованном корабле был долог и хлопотен, но история не сохранила даже намека, каким курсом он следовал. Мы только знаем, что 19 октября его грот-мачта разломилась на четыре части, но благодаря изобретательности братьев Колумб из обломков было сооружено новое «дерево», укрепленное канатами, веревками и кусками досок. Известно также, что во время очередного шторма у судна вдобавок сорвало и фок-мачту, но, так или иначе, 7 ноября 1504 года, после пятидесяти шести дней перехода из Санто-Доминго, последнее плавание Адмирала благополучно завершилось на рейде Санлукар-де-Баррамеда.
Фернандо, которому еще не было и четырнадцати, когда началось Четвертое путешествие, исполнилось шестнадцать; аделантадо, сохранивший энергию и здоровье, был готов к новым приключениям; Адмирал в свои пятьдесят три года окончательно подорвал и физическое, и душевное здоровье. Он хорошо понимал, что не выполнил то, что от него ожидалось: пролив не был найден. Однако он открыл перешеек и гораздо более богатый золотом регион, чем Эспаньола, поэтому его совесть была удовлетворена: он сделал все, что мог. «Несомненно, я служил Их Высочествам с таким же усердием и любовью, с какими мог бы завоевать рай, и даже больше; и если я чего-то не достиг, то, значит, это было невозможно или намного превышало мои знания и силы. Наш Господь Бог в таких случаях не требует от людей ничего, кроме доброй воли…» – написал он своему сыну уже после прибытия.
Колумб не был вызван ко двору для отчета о путешествии (эту милость оказывали даже куда менее значительным мореплавателям) и не обратил на себя абсолютно никакого внимания со стороны монархов. Предполагаемой причиной считалась болезнь королевы. Она и в самом деле находилась на смертном одре, что делало ситуацию еще более огорчительной: Изабелла вполне могла бы уделить Колумбу минутку внимания и позволить Адмиралу поцеловать ей руку, в то время когда множество придворных чиновников и прихлебателей имели доступ к постели государыни. Несомненно, истинная причина, по которой Колумб не получил приглашения ко двору, заключалась во всеобщем подозрении, что Адмирал, воспользовавшись случаям, начнет излагать Изабелле собственную горестную историю, а не станет развлекать ее рассказами об открытиях и приключениях.
Он мог бы доставить королеве некоторое удовольствие, демонстрируя «орлов», «зеркальца» и другие золотые безделушки из Верагуа, но его главное стремление заключалось в высказывании жалоб на плохое обращение со стороны Овандо, на мятеж, возглавляемый дружками казначея, и в просьбе восстановления законных прав. Соверены и ранее много слышали о подобных вещах и не собирались ничего с этим делать. Так зачем же позволять не совсем чистой собственной совести сталкиваться с этим героическим, но докучливым старым моряком?