Другая черта Пафнутия Боровского — его строгость, даже суровость, прежде всего, по отношению к власть предержащим. Он и ученикам своим внушал благоговейный страх, хотя как раз для братии всегда находил слово утешения. Старец Досифей Топорков, племянник Иосифа Волоцкого, записал впоследствии некоторые рассказы преподобного Пафнутия о давно прошедших временах — например, о море в Москве в 1327 году или о великом московском князе Иване Даниловиче Калите. Великий старец обладал способностью по лицу человека узнавать скрытые душевные страсти и помыслы, а потому ничто не могло укрыться от его взора. Преподобный Иосиф Волоцкий вспоминал о своем учителе, что он, когда нужно, бывал милостив и снисходителен, но подчас бывал суров и гневен. Князь Юрий Васильевич Дмитровский, бывший духовным сыном преподобного Пафнутия, рассказывал, что когда он шел на исповедь к преподобному, его охватывал такой трепет, что подчас подгибались колени. Игумен мог отослать даже очень богатый дар, принесенный в монастырь от князя или боярина, если тот чем-то вызвал его неудовольствие, мог не принять навестившего его властителя, не делая исключения даже для великого князя. Но при всем том он вызывал такое уважение у сильных мира сего, что обильные дары от бояр и князей щедро текли в его обитель. Покровителем Боровского монастыря был сам великий князь Иван III, «государь всея Руси».
Преподобный Пафнутий дожил до глубокой старости. Ему исполнилось 83 года, из которых 63 года он посвятил иноческим подвигам. Святой старец предвидел свою смерть за неделю. О его последних днях подробно рассказал его ученик Иннокентий, написавший «Сказание о смерти преподобного Пафнутия Боровского» — одно из лучших произведений древнерусской агиографической литературы.
Последние недели жизни старец посвятил исключительно молитве. Земные дела уже не могли занимать его. Когда он, вместе со своим учеником Иннокентием, видит непорядок в запруде, устроенной им же при монастыре, он дает поручения Иннокентию: «Я же не могу этим заниматься, потому что ждет меня другое, неотложное дело». И это кажется удивительным Иннокентию, привыкшему к ежечасному вниманию святого ко всем необходимым в монастыре работам. Князю Михаилу Андреевичу Верейскому, постоянному милостиннику Боровского монастыря, он спешит передать, чтобы тот не приезжал в обитель, как было уговорено ранее, «ибо приспели мне иные заботы». Несмотря на тяготы болезни преподобный выходит в церковь на святую литургию; он с трудом опирается руками на свой посох, приклонив голову, но отказывается сесть. В тот день по окончании вечерни священник начал читать панихиду, как было заведено в монастыре. Братия хотели увести игумена, но тот решил остаться: «Я должен более других слушать, потому что мне это нужнее всего, впредь уже не смогу слушать». Старец исповедался и причастился Святых Таин; все это время он проводил в жестоком посте и молитве.
Прослышав о болезни преподобного, в монастырь спешат посланцы от князей — от князя Михаила Верейского, от самого государя Ивана III, от митрополита Геронтия. Старец отказывается принять их и даже не распечатывает присланную великим князем грамоту: «Уже ничего не хочу от мира сего: и почестей не желаю, и ничто не страшит меня в мире этом», — говорит он Иннокентию. Тот пытается уговорить преподобного ответить хотя бы великому князю, ибо опасается его гнева. «Истинно говорю вам, — отвечает святой, — если не прогневаете Единого, ничего не причинит вам гнев человеческий. Если же Господа прогневаете, никто вам помочь не сможет». В монастырь приносят дары — от тверских князей, от великой княгини Софьи Палеолог, жены Ивана, от многих бояр и даже от простых людей, но старец повелевает ничего не принимать, но отсылать обратно.