Друзья вскоре узнали, что все же кое-что случилось, и рассказали об этом его семье. А случилось следующее: незадолго до этого в уезд Пэнцзэ приезжал помощник начальника области (от лица начальника области) для проведения проверки. Подчиненные сообщили Тао Юаньмину, что по правилам необходимо одеться в чистые и опрятные одежды, и правильно подвязать пояс. При встрече с начальством следует с серьезным видом отвешивать поклоны в знак приветствия. От этих слов Тао Юаньмин не на шутку разозлился. За годы службы он насмотрелся на чиновников, любящих задаваться вместо того, чтобы делать свою работу. Воспоминания ввергли его в уныние. И что еще хуже — ему самому предстояло явиться на поклон к такому чиновнику. Ситуация казалась безвыходной, и он решил подать в отставку, на прощание сказав: «Разве можно за пятьдесят килограмм риса гнуть спину пред таким человеком!».
Тао Юаньмин, вернувшись домой, занялся земледелием. В своих стихах «Возвращение к полям и садам» он выразил свои мысли:
В деревне он стал жить как обычный крестьянин, с раннего утра до позднего вечера трудился в поле. Часто весело общался с соседями, иногда они вместе пили вино. Такая жизнь казалась ему намного лучше жизни чиновника. Когда друзья приезжали навестить его, то они подолгу общались, и Тао Юаньмин дарил им свои стихи. Так его стихи стали распространяться, и он стал известным и очень уважаемым поэтом. Но как и прежде на все приглашения стать чиновником он давал вежливый отказ.
Дом Тао Юаньмина находился у подножия горы Лушань. Ему очень нравилось ходить в горы, любоваться чарующими видами. Когда его ноги начали болеть, то сын или соседи сажали его в корзину и несли в горы. В тех местах находился известный монастырь Дунлинь. Настоятелем монастыря был знаменитый монах по имени Хуэйюань, изначально он жил на севере Чанъаня, но встретив своего учителя Даоаня (того самого, отговаривавшего Фу Цзяня идти с войной на цзиньцев), был отправлен проповедовать на юг.
Хуэйюань написал много сочинений о буддизме, слава его была очень велика, паломники стекались к нему со всей Поднебесной. Когда Хуэйюань и еще несколько уважаемых отшельников решили создать общество Белого Лотоса для совместного чтения молитв, они решили пригласить живущего поблизости Тао Юаньмина присоединиться к ним. Сперва Тао Юаньмин оставил предложение без ответа, но Хуэйюань не отступился и снова пригласил его. В итоге Тао Юаньмину пришлось принять приглашение, но он поставил условие, что он будет пить вино. Хуэйюань согласился. В монастырь Дунлинь Тао Юаньмина доставили в корзине. Увидев, как Хуэйюань умело встречает и провожает гостей, как искусно общается с людьми, Тао Юаньмин наморщил брови и подумал: как может человек, ушедший из мира страстей, так любить мирские дела? Выпив немного вина, он возвратился домой. С тех пор он больше не бывал в монастырях.
Тао Юаньмин, вернувшись с работы, вместе с соседями пьет вино и весело общается
Несмотря на жизнь в уединении Тао Юаньмин не исповедовал буддизм. У него есть несколько стихов, где он описывает свое представление о духовном и физическом. Для него форма первична, а значит не может быть духа без плоти. Такое представление резко отличается от буддийского учения. Свое представление об идеальном мире через метафоры он описал в своем коротком произведении «Персиковый источник».