В 1889 году выходит его первая часть «Научных результатов экспедиции 1885–1886 гг.». Однако в конце февраля 1890 года он заболевает тяжелым нервным расстройством и уезжает лечиться на курорт в Вену.
К этому времени относится его знакомство с известным норвежским полярным исследователем Ф. Нансеном, который в это время обдумывал план дрейфа через Северный полюс. Толль посоветовал Нансену двигаться к северу от Новосибирских островов, воспользовавшись ленским течением.
После возвращения Толля из Вены Академия наук вторично предложила ему возглавить руководство экспедицией в Восточную Сибирь. Толль ответил на это согласием.
Главной целью экспедиции было нахождение останков мамонта в тундре к востоку от устья реки Яны и доставки его в Академию наук. Однако по прибытии экспедиции на место выяснилось, что от мамонта почти ничего не сохранилось. И Толль решил предпринять новое путешествие на Новосибирские острова. Одновременно он выполнил и просьбу Нансена, закупил для его экспедиции партию восточноевропейских собак. Впоследствии знаменитый полярный исследователь с большой теплотой говорил о помощи, оказанной ему Толлем. Следует отметить, что, оказывая помощь Нансену, Толль вышел за узкие рамки служебной инструкции и тем самым придал своему походу на Новосибирские острова международный характер.
В июле Толль проделал на оленях и легком челноке из целого ствола («ветки») огромный путь в 1200 км — от Святого носа до Лены. Он преодолел самые топкие места и убедился, что пройти через тундру возможно в любое время года.
В начале августа 1893 года экспедиция стала спускаться вниз по Лене и через дельту этой великой сибирской реки прошла по Оленекской протоке к устью Оленека.
В конце месяца караван экспедиции, состоящий из полсотни вьючных и верховых оленей, тронулся на запад. Олени преодолевали в сутки 70–80 км пути, и даже не сменяя их Толль проехал 700 км верхом с реки Буолкалах до урочища Дороха.
В октябре Толль вновь вернулся в Буолкалах.
26 ноября экспедиция достигла села Дудинки на Енисее, 4 декабря — Туруханска, 16 декабря — Енисейска. 8 января 1894 года ее участники прибыли в Петербург.
В ходе второй арктической экспедиции, продолжавшейся целый год, ее участники преодолели расстояние от верховьев реки Яны до северного берега острова Котельного и расстояние между Новосибирскими островами и Хатангской губой.
Толль впервые описал плоскогорье между реками Анабар и Попичай, а также сделал описание хребта Прончищева, протянувшегося вдоль побережья моря Лаптевых, между устьем Оленека и Анабарской губой. Толль сам предложил дать наименование этому хребту, он же предложил назвать и другой хребет, находящийся между низовьями Лены и Оленека именем А.Л. Чекановского, впервые описавшего его в 1875 году.
В ходе экспедиции были собраны богатые зоологические, ботанические и этнографические коллекции. Материалы по палеонтологии впервые дали возможность изучить подробно историю района Анабара и Хатанги.
За образцовое выполнение заданий Русское Географическое общество наградило Толля большой серебряной медалью имени Н.М. Пржевальского, а Академия наук — большой денежной премией. За заслуги в оказании помощи экспедиции Нансена Толль был награжден норвежским орденом.
Впоследствии Русское Географическое общество командировало Толля в Норвегию для приветствия норвежского путешественника от имени России. В ответ Нансен еще раз поблагодарил Толля за содействие своей экспедиции и провозгласил тост за доблестный русский народ, внесший огромный вклад в освоение Арктики.
Вскоре после окончания своей второй арктической экспедиции Толль оставил службу в Академии наук и переехал в Юрьев. Здесь он занялся обработкой материалов экспедиции и одновременно стал писать очерк по геологии Новосибирских островов.
После возвращения Толля из второй арктической экспедиции состоялось его знакомство с С.О. Макаровым. Сам Макаров считал, что льды Ледовитого океана — это вполне преодолимое препятствие, если в распоряжении экспедиции имеется ледокол, способный пробиваться через льды к полюсу.
И когда ледокол «Ермак» был построен, Макаров добился откомандирования Толля для участия в экспедиции в качестве геолога. На Толля были возложены обязанности приобрести в Швеции и Норвегии приборы для географических и гидробиологических исследований. С этой задачей он блестяще справился.
20 мая 1899 года «Ермак» вышел из Кронштадта и взял курс на северо-восток к берегам Норвегии. Ледокол стал на якорь в бухте Локвик близ Тромса, в которой «Ермак» уже ожидал Толль.
16 июня ледокол направился к кромке льдов севернее Шпицбергена. В это же время на ледоколе полным ходом шли гидробиологические работы. Толль вместе с судовым врачом разбирали принесенные тралом организмы, помещали их в формалин и спирт. При подходе к ледяным заторам Толль стал заниматься орнитологией, охотился на чаек и собирал со льда каменный материал для своей коллекции.