В этом поступке впервые проявился подлинный характер Гогена, его гордость и вспыльчивость. Точно так же был настроен Гийомен и даже, похоже, Кайботт. В конце концов Писсарро внял доводам Гогена, в результате чего Дега отказался от дальнейшего участия в мероприятиях, устраиваемых импрессионистами. 1 марта открылась выставка, в которой после некоторого перерыва приняли участие Моризо, Моне и Ренуар, а также Сислей, Кайботт, Гийомен, Виньон и, конечно же, Гоген. Но из-за злобных нападок критики, считавшей его виновником в уходе Дега, победителем Гоген себя не чувствовал. Как писал Виктор Мерлес: «Презираемый Ренуаром и Моне из-за конфликта с Дега, окруженный неприязнью своей группы и высмеиваемый прессой, художник, так изумительно воспевший в своих следующих картинах красоту Маркизских островов, в то время, по-видимому, оказался в полной изоляции». Практически никто его не поддерживал и не понимал. Как это ни парадоксально, ближе всех по духу ему был именно Дега, но примирение двух живописцев состоится, к сожалению, гораздо позже.
Между тем материальное положение Гогена резко ухудшилось, поскольку к тому моменту рухнула его биржевая карьера. В январе в результате краха Банка Лиона и Луары внезапно прекратился рост курса акций. И если ранее акции большого католического банка, входившего во Всеобщий союз, котировались дороже трех тысяч франков, то теперь они упали до тысячи трехсот, а позже и до шестисот франков. 1 января арестовали директоров, и банк объявил себя банкротом. В результате этих событий Гоген потерял много денег, а Дюран-Рюэля поддерживал тот же Всеобщий союз, и все происходящее не могло не отразиться на рынке живописи. Все планы Гогена перепутались. О своем потрясении он писал Писсарро, единственному, с кем мог поделиться личными проблемами. Вот строки из письма, отправленного в июне 1882 года: «Я не могу одновременно продолжать свою финансовую карьеру и оставаться при этом художником-любителем; я вбил себе в голову, что стану именно художником. Как только горизонт прояснится и я смогу зарабатывать себе на жизнь искусством, займусь живописью вплотную. Но самое главное, что меня бесит больше всего, так это наша разобщенность, которая является причиной всех неудач».
Гоген сумел убедить Моне и Ренуара вернуться. И теперь причиной финансовых неудач и отрицательного отношения критики он считал только разногласия в кружке новаторов, приведшие к тому, что с 1883 года у импрессионистов больше не было общей выставки. Гогену же не терпелось целиком отдаться искусству, стремление изменить свою жизнь стало Для него главной целью и даже навязчивой идеей. В следующем письме он пытался объяснить Писсарро, почему его положение хуже, чем у всех остальных: «Мне не хватает времени, чтобы работать в полную силу. Но я не отчаиваюсь, я очень надеюсь, что долгие размышления, постепенно накопившиеся в памяти наблюдения позволят мне наверстать потерянное время». Здесь впервые он намекнул на глубинную работу ума, серьезное осмысление своего метода, который можно увидеть в его последних работах. «Признаюсь, что еще во время последней выставки я почувствовал, насколько отвратительны мне эти люди, — продолжал он. — Все четче понимаю, насколько наш век жесток и жаден до денег, насколько сильна ныне зависть. Но мне это безразлично. Тем больше влечет меня искусство, уже ставшее целью моей жизни. Так хочется победить силой таланта, несмотря на помехи, неизвестные тем, кто ежедневно имеет возможность заниматься любимым делом, овладевать мастерством».
Именно в это время личности Гогена-человека и Гогена-художника отождествляются и он предстает во всем обуревающем его неистовстве, которое станет определяющим в его дальнейшей жизни и творчестве. Таким его воспринимали и собратья-художники, если судить по письму Гийомена к Писсарро: «Рад, что рядом с вами „великий и ужасный“ Гоген. Несмотря на его грубость, он не худший товарищ. В трудные времена на него можно положиться». Сам же Писсарро был тронут признаниями Гогена, тем более что их взгляды на призвание художника абсолютно совпадали.