Винсент считал, что нашел свое место и навсегда останется жить в Нюэнене, хотя Тео рекомендовал брату сменить место жительства. «В сущности у меня одно желание – жить в деревенской глуши и писать деревенскую жизнь». Он даже мечтал забыть об обществе, к которому принадлежал, и зажить по-крестьянски. Работая над «Едоками», он «хотел дать представление о совсем другом образе жизни, чем тот, который ведем мы, цивилизованные люди». Этим полотном он всегда гордился, оно было для него некоей вехой в творчестве. Картина даже стала камнем преткновения между Винсентом и его ближайшим другом и единомышленником Раппардом. Не имея возможности показать ему картину, Ван Гог наскоро сделал литографию и послал в Утрехт. Как и следовало ожидать, Раппарду она совершенно не понравилась. Он раскритиковал плоскость изображения, нарушения в анатомии, технику и отсутствие правды жизни. Критиковал он, конечно, то, что видел, то есть не картину, а копию, которая, мягко говоря, не точно передавала оригинал. Впрочем, даже если сделать скидку на это, все равно тон письма Раппарда излишне язвителен. Не потому ли, что на самом деле здесь говорило ущемленное самолюбие? Дело в том, что незадолго до этого случая Раппард приезжал в Нюэнен, и они долго спорили по поводу его собственных работ. Винсенту больше нравились «Пряхи» Раппарда и гораздо меньше – его последние работы. Создается ощущение, что Раппард воспользовался случаем отомстить за мягкую, в общем-то, критику Винсентом полотен друга. Ну, а простодушный Ван Гог и не догадывался о подспудных причинах язвительности Раппарда. Он очень обиделся на обвинение в «поверхностности». Правда, сердился недолго – после обмена письмами он успокоился, и последнее из сохранившихся писем – от сентября 1885 года – уже носит вполне дружеский характер. Винсент не любил терять друзей и старался сохранять с ними добрые отношения. А Раппард, хотя был на 5 лет моложе Винсента, был настоящим другом. Как оказалось, именно это и позволило ему остаться в истории, поскольку как художник он теперь мало известен. Раппард умер в 1892 году, пережив Ван Гога всего на два года. Когда он узнал о душевной болезни Винсента, то сказал следующее: «Винсент хотел искусства грандиозного, и его гигантская борьба могла сокрушить какого угодно художника. Не думаю, чтобы один темперамент был в силах сопротивляться постоянному напряжению, всегда грозящему взрывом».
Ван Гог жил и писал в уединении, а в глубине его разума рождались новые дерзкие идеи. Особенно его увлекали мысли о контрастах и взаимодействиях цветов спектра. В этом Винсенту ничем не могли помочь современные художники, даже его любимый Милле. Ван Гога вдохновляли старые мастера, особенно Делакруа с его мощными пламенеющими аккордами. Художника восхищало умение Эжена Делакруа передать атмосферу ужаса только сочетанием насыщенного синего и зеленого. Пришла пора что-то менять и куда-то ехать. Возникла настоятельная потребность опробовать свои идеи на сотоварищах по ремеслу. Дожив до тридцати лет, Винсент не имел опыта жизни в настоящей художественной среде – такой буйной, часто неуютной, но бодрящей жизнью, в которой можно постоянно общаться, спорить с такими, как он, одержимыми. Очередная порция сплетен ускорила его отъезд. На этот раз он был ни в чем не виноват. Художник дружил с юной Гординой де Гроот (именно ее Винсент изобразил в «Едоках картофеля» спиной к зрителю). Она забеременела. Стали перешептываться, что виноват Винсент Ван Гог. Сам он отрицал свою причастность к интересному положению Гордины. А поскольку он никогда в жизни не врал и не уклонялся от ответственности, мы можем ему поверить. В одном из более поздних писем сестре Виллемине Винсент интересовался: так вышла ли Гордина за своего кузена? Очевидно, это и был виновник скандала. Но многие не верили Винсенту. Особенно возмущался местный католический священник – де Грооты были католиками. Он запретил прихожанам позировать Винсенту. Не все его послушались, но на улице уже никто не решался этого делать.
Работать стало труднее. Тогда Винсент решил какое-то время пожить в Амстердаме. Вещи пока брать не стал и попросил сохранить за собой жилье. Мать, сестра Виллемина и брат Корнелиус тоже собирались рано или поздно переехать из Нюэнена. Старшие сестры, с которыми Винсент не поддерживал отношения, жили в другом городе. Ван Гог боялся за здоровье матери и поэтому некоторое время откладывал отъезд. (Она пережила своих сыновей на 17 лет). Однако врач заявил, что ей ничто не угрожает, и в конце ноября 1885 года Винсент уехал.