Завоевателем Рима и Италии, когда он наслаждался миром, по-видимому, овладела старческая страсть накопления богатств. Про него говорили, что он накопил горы золота, и рассказывали, будто бы в одном итальянском городе он скрыл в колодце такую кучу сокровищ, что после его смерти пришлось вынимать их из колодца в течение нескольких дней. Богатства Нарзеса, как повествует предание, возбуждали зависть в развращенных римлянах; однако более вероятно будет предположить, что имели значение в этом отношении не столько богатства Нарзеса, сколько византийский военный деспотизм, тягость налогов, алчность греческих кровопийц, вмешательства в дела церкви и оскорбления, наносимые латинской национальности. Все это римляне должны были находить невыносимым и временами горько сожалеть, что не готы господствуют над ними. Не имея возможности поколебать положение Нарзеса при жизни Юстиниана, римляне пытались свергнуть его, когда в 565 г. императором стал Юстин Младший. Падение Нарзеса вполне объясняется господством фаворитов при византийском дворе. В Византии опасались также могущества, которого достиг Нарзес в Италии, и желали завладеть его богатствами. Римляне предъявили Юстину и его жене Софии обвинения против Парзеса; при этом они смело и правдиво писали: «Нам было лучше служить готам, чем грекам, когда управляет нами евнух Нарзес и давит нас рабством. Благочестивейший государь наш ничего не знает об этом; освободи нас от него, или мы предадим город Рим варварам». После шестнадцати лет наместничества в Италии в 567 г. Нарзес был отозван из Италии императором Юстином. Рассказывали, что Нарзес удалился из Рима в Кампанью, когда услыхал, что на его место в Италию послан Лонгин. Вернуться в Константинополь Нарзес не отважился и решил не подчиняться приказу, так как ему была известна угроза императрицы Софии, обещавшей одеть его в женское платье и заставить вместе с женщинами прясть шерсть. Предание рассказывает, будто бы Нарзес ответил императрице, что он спрядет ей такую нитку, которую они не распутает во всю свою жизнь, а затем будто бы отправил к лангобардам в Паннонию посольство звать их в Италию, причем в доказательство богатства страны послал, кроме разных ценных вещей, лучшие плоды.
Удаление разгневанного наместника в Неаполь испугало римлян. Они стали опасаться его мести, но папа Иоанн поспешил к Нарзесу, чтобы вернуть его в Рим. «Святой отец, что дурного сделал я римлянам? — с такими словами обратился Нарзес к папе. — Я паду к ногам того, кто послал меня, и пусть вся Италия узнает, как я старался для нее изо всех сил». Папе удалось успокоить и вернуть в Рим престарелого наместника. Сам папа поселился на церковном дворе Св. Тибуртия и Валериана, где он посвящал в епископы, а Нарзес занял дворец цезарей, но очень скоро после этого умер здесь, подавленный горем. Его тело было положено в свинцовый гроб и отвезено вместе с сокровищами, которые принадлежали умершему, в Константинополь. Так повествует обо всем этом древняя книга п гп, а также черпающий в ней сведения Павел Диакон. Но Агнелль говорит следующее: патриций Нарзес умер в Риме, во дворце Италии, на 95-м году своей жизни, после того, как одержал многие победы в Италии и совершенно ограбил римлян. В этом свидетельстве возраст Нарзеса несомненно преувеличен, так как маловероятно, чтобы старец почти 80 лет мог завоевать Италию при таких трудных условиях. Смерть его следует отнести к 567 г. Книга пап, правда, допускает, что Нарзес умер в одно время с папой Иоанном, т. е. в 573 г., и, по-видимому, с этим согласен также Агнелль; но нет правдоподобия как в том, что отставленный наместник мог спокойно прожить в Риме еще шесть лет, так и в том, что римляне, уже теснимые лангобардами, противились приказам императора и нового экзарха, удерживая у себя Нарзеса и его богатства.