За время работы в Министерстве финансов Гурьев дважды подавал прошение об отставке, ссылаясь на слабое здоровье, однако император не удовлетворил эти прошения. В 1823 году Гурьев оставил должность министра финансов: официально по собственной просьбе и по состоянию здоровья. Неофициально считается, что настоящей причиной было истощение государственных доходов, в том числе вызванное «тою угодливостью, которую проявлял Гурьев по отношению к разным влиятельным лицам». Поэт А. Е. Измайлов, служивший в Министерстве финансов, написал сатирическое стихотворение на отставку министра.
Раздражение среди современников вызывало и то, что Гурьев значительную часть средств, переданных правительством для оказания помощи голодающим в Белоруссии, потратил на покупку разорённого имения одного из дворян для своих нужд. При этом с голодающих продолжалось взыскание недоимок. По словам Б. Б. Кампенгаузена, самого желавшего стать министром финансов, «человек толстый, жирный и откормленный (то есть сам Гурьев) не может понимать нужд голодного». Недовольство императора вызывало желание Гурьева увеличить власть министра финансов. Также сказалось и общее разочарование Александра I в реформаторской деятельности, усиление консервативных тенденций. На отставку Гурьева могли повлиять разногласия с членами Государственного совета и особенно с Н. С. Мордвиновым – председателем Департамента государственной экономии, ухудшение отношений с А. А. Аракчеевым, другие обстоятельства.
Острым критиком финансовой деятельности Гурьева выступал новый министр финансов Е. Ф. Канкрин. Он писал: «Казначейство приближается к банкротству… доходы совсем не поступают, как предместник мой полагал». По словам графа А. И. Рибопьера, «не у многих государственных людей было столько врагов, как у Гурьева. Немало интриг ведено против него. Император Александр, однако, верил в его честность и познания и постоянно защищал его против врагов». Отставка Гурьева пришлась на Пасху 22 апреля 1823 года. Она произвела большой шум в Петербурге. «Христос воскрес, Гурьев исчез!» – поздравляли друг друга жители. После отставки и до смерти в 1825 году Дмитрий Александрович сохранил должность министра уделов и управляющего императорским кабинетом.
Гурьев – один из немногих министров финансов, которому посвящена специальная монография, автором её является Л. П. Марней. По её мнению, деятельность Гурьева была недооценена в историографии, так как он был одним из предшественников денежной реформы Е. Ф. Канкрина, подготовившим базу для её реализации.