К началу мая 1597 года льды, под воздействием северо-западных ветров, отнесло от берега, и голландцы стали подумывать о возвращении на родину. Обратное плавание предстояло совершить на шлюпках, так как состояние судна было безнадежным. 29 мая зимовщики Баренца выкопали из-под снега самую большую судовую шлюпку и, чтобы отремонтировать, попытались притащить ее к дому. Но они оказались настолько истощены, что сразу же сделать это не удалось. Более того — пали духом. Баренц и ван Гемскерк стали их ободрять и сказали, что «если мы не протащим и не исправим шлюпку, то нам придется остаток жизни провести в качестве граждан Новой Земли и быть здесь похороненными». Это сыграло благодатную роль: шлюпка была подтянута к дому, отремонтирована и 14 июня голландцы покинули место зимовки. Перед отплытием начальник экспедиции написал краткий отчет о пребывании путешественников на Новой Земле, вложил его в пороховницу из рога и прикрепил в дымовом отверстии дома.
Баренц в это время уже был серьезно болен, но старался не подавать вида. Только через два дня, когда шлюпка огибала северную часть Новой Земли, Виллем Баренц обратился к Де–Феру с необычной просьбой: «Геррит, где мы находимся? Не у Ледяного ли мыса? Подними меня, мне надо еще раз посмотреть на этот мыс». 20 июня главный руководитель экспедиции Виллем Баренц умер и был по морскому обычаю похоронен в море. Вскоре после него умер и матрос Класс Андриссон, который также был похоронен по морскому обычаю. К 9 июля экспедиция потеряла еще 5 человек.
В непрерывной борьбе со льдами шлюпка голландцев достигла 28 июля острова Междушарский, где встретила две русские лодьи. Поморы снабдили их свежим хлебом и копченой дичью и оказали им всякого рода помощь.
2 сентября 1597 года выжившие моряки из экспедиции Виллема Баренца добрались до русской Колы, где с изумлением нашли корабль Яна Рийпа, безуспешно попытавшийся пройти на север в районе Шпицбергена, и на нем вернулись домой.
Наблюдения за погодой, которые голландские моряки производили в 1596—1597 годах в Ледяной гавани, стали вообще первыми метеорологическими наблюдениями и даже сегодня они имеют научную ценность.
После того как голландцы покинули место своей зимовки в Ледяной Гавани, она не посещалась человеком до XIX века. 7 сентября 1871 года сюда пришел норвежский промышленник Эллинг Карлсен и нашел зимовочный дом Баренца. Он так хорошо сохранился, что казался построенным только недавно. Все здесь сохранилось в том виде, как перед отъездом нарисовал Геррит Де–Фер. Вдоль стен тянулись лежаки, на стене висели часы, мушкеты, алебарды. Из всей домашней утвари, оружия и различных предметов, привезенных Карлсеном, большая часть была передана голландскому правительству. А затем — размещена в морском музее города Гаага. Там же была создана большая модель новоземельского дома Баренца, созданная по рисункам Де–Фера. Через 4 года зимовка Баренца была еще раз тщательно обследована, но на этот раз — англичанином Гардинером. Во время обследования он нашел: несколько книг (в том числе — «Историю Китая» и «Руководство к мореплаванию»), карты, остатки голландского флага, компас, несколько циркулей, печать, оружие, домашнюю утварь, одежду. Но наиболее интересной стала находка оставленный Виллемом Варенцом отчет. Эти реликвии также были переданы в музей города Гаага.
Развалины голландского дома в Ледяной Гавани посетил в 1933 году геологический отряд Арктического института под началом Б. Милорадовича. Советские геологи нашли здесь несколько оставленных экспедицией Баренца предметов: глиняный кувшин, железный ключ, наконечник остроги, башмак и др.
Но самой неожиданной оказалась информация, что в годы Второй мировой войны, здесь же, на берегу Ледяной гавани, гитлеровские подводники создали свою тайную базу и наблюдательный пункт, благодаря которым они нападали на советские суда, идущие Северным морским путем. А в июле 1943 года — потопили в районе мыса Спорый Наволок советское гидрографическое судно «Академик Шокальский». Но эти события произошли уже в XX веке.
Виллем Баренц был, несомненно, одним из выдающихся исследователей Арктики. Смелый и расчетливый, он вместе с тем был прекрасным навигатором и наблюдателем. За заслуги перед Голландией Мурманское море, которое так исконно называли поморы, было переименовано в Баренцево море. И мировое сообщество с этим согласилось.