Весной 1914 года, когда шхуна находилась уже севернее Земли Франца–Иосифа, штурман Альбанов, а с ним и часть команды решили покинуть вмерзшее судно. Начальник экспедиции не стал этому противиться, и 22 апреля 1914 года состоялся прощальный дружеский ужин. Здесь врач экспедиции Ерминия Жданко сделала все, чтобы Брусилов и Альбанов расстались дружески. Со слов судового штурмана, он не один надеялся, что через год «Святая Анна» выйдет на чистую воду где-нибудь в районе Шпицбергена. Но в этом случае тем более необычен уход единственного штурмана с корабля. Вот как, по словам Альбанова, звучало предписание лейтенанта Брусилова начальнику уходящей группы:
«10 апреля 1914 года. Штурману Вал. Ив. Альбанову.
Предлагаю Вам и всем нижепоименованным, согласно Вашего и их желания покинуть судно, с целью достижения обитаемой земли, сделать это 10–го сего апреля, следуя пешком по льду, везя за собой нарты с каяками и провизией, взяв таковой с расчетом на два месяца. Покинув судно, следовать на юг до тех пор, пока не увидите земли. Увидав же землю, действовать сообразно с обстоятельствами, но предпочтительно стараться достигнуть Британского канала, между островами Земли Франца–Иосифа, следовать им, как наиболее известным, к мысу «Флора», где я предполагаю, можно найти провизию и постройки. Далее, если время и обстоятельства позволят, направиться к Шпицбергену, не удаляясь из виду берегов Земли Франца–Иосифа. Достигнув Шпицбергена, представится Вам чрезвычайно трудная задача найти там людей, о месте пребывания которых мы не знаем, но надеюсь на южной части его — это Вам удастся, если не живущих на берегу, то застать где-нибудь промысловое судно. С Вами пойдут, согласно их желания, следующие тринадцать человек из команды. Капитан «Св. Анны» лейтенант Брусилов. 10 апреля 1914 г. в Северном Ледовитом океане. Широта 82 гр. 55 мин. 5 сек. северная, долгота 60 гр. 45 мин. восточная». Предписание было заверено судовой печатью. Здесь же был приложен список состава группы. Вместе с Валерианом Альбановым покинули судно: старший рулевой Петр Максимов, матросы Александр Конрад, Евгений Шпаковский, Ольгерд Нильсен, Иван Луняев, Прохор Баев, Александр Архиреев, Павел Смиренников, машинист Владимир Губанов, стюард Ян Регальд. В составе этой же группы ушли матросы И. Пономарев и А. Шахнин, а также кочегар М. Шабатура, но через десять дней они вернулись на «Святую Анну».
Утром 10 (23) апреля группа, покидавшая судно, направилась к Земле Франца–Иосифа.
Трудный трехмесячный переход по дрейфующим льдам описан в ранее названной книге «На юг к Земле Франца–Иосифа».
Поход группы Альбанова к Земле Франца–Иосифа был полон необычайных трудностей и лишений. Ездовых собак не было, и тянуть нарты приходилось людям. Нартов и каяков в партии было семь, продовольствия имелось на два месяца. Этот груз оказался, однако, слишком тяжелым для ослабевших после трудной зимовки путников.
«Только что мы налегли на лямки, — записал позже в своем дневнике Альбанов, — как с троими из нас приключилась дурнота: сильное головокружение и слабость такая, что пришлось здесь же около нарт лечь на снег и полежать минут пятнадцать». Не осталось ничего другого, как перетаскивать нарты в несколько приемов. В среднем за сутки удавалось проходить около 3,5 километров. Одной из главных трудностей всего путешествия было отсутствие надежных навигационных карт Арктики. Перед походом их готовили вручную, основываясь на данных и карте из книги Фритьофа Нансена «Среди полярных льдов во мраке ночи» и на книге Александра Колчака «Льды Карского и Сибирского морей».
На первом участке похода — переходе по льду к Земле Франца- Иосифа — пропал без вести только матрос Баев. Он ушел на разведку и исчез, вероятно, где-то провалился в ледовую трещину или в полынью. Многие спутники Альбанова готовы вернуться на судно, но оно уже слишком далеко. Однажды на ночевке из партии сбежали 2 человека. Они выкрали запас продовольствия, бинокль с компасом, оружие и жестянку с почтой. И последнюю, скорее всего, — ради собственного оправдания. Сложно не заметить, что слишком уж разношерстная «публика» составляла команду «Святой Анны», а главное — что на ее поведение сильно влияли напряженные отношения между лейтенантом Брусиловым и штурманом Альбановым.
8 июля ушедшие со «Святой Анны» добрались до Земли Александры. К этому времени все их запасы продовольствия состояли из 2 килограммов сухарей, 200 граммов сушеного мяса и 1 килограмма соли. Несказанно они обрадовались, когда нашли на мысе Мэри Гармсу орт множество птиц и гагачьих яиц.