Между тем началось полярное лето. Путешественникам необходимо было добраться до твердой земли до наступления зимы, но и вторичная попытка путешествия по льдине оказалась не более удачной, чем первая. Оставалась только единственная надежда, что льдину донесет до открытого моря. Но льдина двигалась очень медленно и положение с каждым днем становилось все более и более критическими. Антарктическое лето подходило к концу. В марте снова начались морозы и вьюги, и к этому времени запасы провизии сильно уменьшились, а охота на тюленей почти прекратилась. Путешественники постепенно съели всех своих собак и вскоре сильно сократили порции. Будущее казалось уже совершенно безнадежным и спасения не было. Но вдруг движение льда стало более быстрым, и вскоре показался сначала один, потом другой остров. Путешественники погрузили на лодки самые необходимые вещи и пустились в море, рискуя ежеминутно быть раздавленными льдинами. Но поднялась сильная буря, и они снова были вынуждены высадиться на большой льдине, добравшись до нее с величайшими усилиями. Наконец, буря стихла, и они опять спустились в море. В течение целых 36 часов они беспрерывно гребли и почти выбивались из сил, чтобы достигнуть острова, но течение постоянно отбрасывало их в открытое море, а в довершение беды ночью сделался сильный мороз и снова поднялась буря.
Убедившись в полной невозможности достигнуть одного из шотландских островов, где норвежские китоловы устроили свою станцию. Шекльтон решил направиться к Слоновому острову. Однако, ветер все же замедлял движение, и лодки относило прочь от берега, который казался несчастным путешественникам «обетованной землей». К вечеру опять разразилась буря. Брызги воды, падая на лодки, замерзали и покрывали все ледяной корой, которую приходилось сбивать чуть ли не ежеминутно, чтобы не допустить лодки погрузиться в море под тяжестью этой коры. С величайшими трудностями и совершенно измученные, они приблизились, наконец, к берегу, но нигде не было видно ни одной бухты, и всюду возвышались только зубчатые горные утесы, покрытые снегом и льдом. После долгих поисков, они отыскали, наконец, небольшой клочок низкого берега, но его заливало водой во время прилива и пришлось перебираться в другое место. Припасов оставалось всего только на пять недель и при самой большой экономии, а между тем приближалась зима, и китоловы уж, несомненно, давно покинули все эти места. Они могли вернуться сюда только через год, и, следовательно, в ближайшем будущем путешественникам грозила голодная смерть.
Тогда Шекльтон решился на отчаянное средство; с пятью товарищами он отправился в лодке, через океан, в Южную Георгию, где существовали постоянные станции норвежских китоловов, рассчитывая, что там он найдет какое-нибудь судно, на котором он сможет вернуться на Слоновый остров за оставшимися товарищами.
Это было в высшей степени рискованное предприятие, так как Слоновый остров находится на расстоянии 1.400 километров от острова Южная Георгия, и это огромное расстояние надо было переплыть на небольшой лодке, под веслами. Но ни Шекльтона, ни его товарищей мысль об опасности не могла остановить, и они немедля пустились в плавание.
Две недели на море свирепствовала буря, и, как говорил Шекльтон, «Южный океан хотел подтвердить свою дурную славу». Водяные брызги покрывали борта лодки толстым слоем льда, и этот лед приходилось постоянно отбивать и выбрасывать за борт. И вдруг, когда они уже пришли в полное отчаяние, на горизонте показался берег Южной Георгии. Спасение казалось близким, но тут опять разразилась буря, лодку понесло прямо на скалы с головокружительной быстротой, и гибель казалась неизбежной. Однако, в последнюю минуту вдруг переменился ветер, и лодку отнесло в сторону.
Опасность разбиться у берега миновала, но испытания их еще не кончились, Шекльтону удалось ввести лодку в небольшую защищенную бухту острова, но она находилась на стороне, противоположной той, где были станции китоловов. Чтобы добраться до них, надо было совершить длинное плавание вокруг острова. Но буря не стихала, и такое путешествие в маленькой лодке, около скалистых берегов, было бы совершенно безумным предприятием. Шекльтон решил поэтому добраться пешком до противоположной стороны острова. Двое наиболее крепких из его спутников пошли с ним, и они захватили с собой провизии на три дня. Надо было пройти расстояние в 48 километров, через высокие горы и огромные ледники, и через тридцать шесть часов Шекльтон со своими товарищами достигли к вечеру 20 мая поселка китоловов.