Игумен Пафнутий возглавлял Боровский Высоцкий монастырь в течение тринадцати лет. Затем он сильно и надолго заболел, так что во время болезни принял схиму (высшую степень монашества). По выздоровлении, в 1444 году, преподобный решает покинуть обитель. Он отказывается от игуменства и переселяется с одним иноком на новое место, отстоявшее на три версты от Боровска. Оно находилось при впадении в реку Протву небольшой речки Истерьмы, на высоком, поросшем густым лесом берегу. Вскоре к преподобному переселяются и многие из прежних иноков Высоцкой обители. Строятся кельи, а затем и деревянная церковь во имя Рождества Пресвятой Богородицы. (Впоследствии в монастыре ставится и каменная церковь; ее украсят иконы и росписи, выполненные знаменитым русским иконописцем Дионисием.) Так возник новый Рождественский монастырь.
Место, которое занимал монастырь, находилось уже вне пределов Боровского княжества. Прозябание прежнего Высоцкого монастыря и расцвет нового Рождественского вызвали гнев со стороны боровского князя Василия Ярославича. Житие преподобного Пафнутия, написанное учеником святого, будущим архиепископом Ростовским Вассианом Саниным, рассказывает о том, что князь даже подсылал своих слуг разорить или сжечь обитель Пафнутия. Одним из таких злодеев был новокрещенный татарин Ермолай. Пафнутий, однако, ласково поговорил с ним, и нрав татарина чудесным образом совершенно переменился; он не причинил обители никакого зла. Примирение между князем и игуменом произошло после 1445 года, когда в несчастном для русских сражении у Суздаля боровский князь Василий попал в плен к татарам вместе с великим князем Василием Васильевичем (будущим Василием Темным). Преподобный много молился об избавлении русских князей из плена; князь же Василий Ярославич, в свою очередь, раскаялся в прежней злобе.
Монастырь преподобного Пафнутия не отличала чрезмерная суровость аскетического жития, подобная образу жизни некоторых отшельников и пустынников того времени. Преподобный не требовал от братии невозможного, но зато чрезвычайно строго следил за соблюдением устава. Сам он всегда предавался посту, в некоторые дни совсем отказываясь от еды, а в другое время вкушая лишь немного простой постной пищи, но братии старался угодить, часто повелевал приготовить для трапезы то, что могло понравиться инокам. (Впрочем, в монастыре, разумеется, никогда не ели мяса.) Да и во всем прочем преподобный довольствовался самым малым. Одежда его была такою, замечает его ученик Иннокентий, автор «Сказания о преставлении преподобного Пафнутия», что мало кому из нищих пригодилась бы.
Внешность святого была не слишком выразительной: сгорбленный и малорослый, с большой седой бородой, в плохой одежде. Но он обладал поразительным даром воздействия на любого, с кем ему приходилось общаться. «Беседа же его была проста, — продолжает свой рассказ Иннокентий, — усладительно беседовать с ним было не только инокам, но и мирянам и странникам. Не робел он никогда перед лицом княжеским, дары богатых не могли улестить его, и сильным мира сего он повелевал неукоснительно соблюдать законы и заповеди Божии. С простыми людьми так же, как и с великими, беседовал и братьями их называл. И никто после беседы с ним никогда не уходил от него неутешенным».
Учениками преподобного Пафнутия были многие выдающиеся церковные деятели средневековой России — преподобный Иосиф Волоцкий, основатель Иосифо-Волоколамского монастыря, писатель и публицист, один из наиболее почитаемых русских святых; его брат Вассиан Санин, архимандрит Ростовский, списатель Жития святого Пафнутия; старцы Иннокентий, Исайя и другие. Непосредственное нравственное влияние Пафнутия испытал и прославленный иконописец Дионисий, однажды нарушивший запрет боровского игумена и из-за этого жестоко заболевший.
Две черты, прежде всего, отличают характер преподобного. Во-первых, это рачительность хозяина. Пафнутий неустанно заботится о монастыре, о монастырском хозяйстве. Он и сам работает не покладая рук, с усердием исполняя самые тяжелые монастырские послушания: рубит лес, носит дрова, копает землю, занимается плетением рыболовных сетей. Юный Иосиф Санин, придя в монастырь, застает игумена за рубкой дров в лесу, а рассказ о кончине преподобного начинается с того, что игумен указывает своему ученику Иннокентию, как именно следует поправить прорванную запруду в монастырском пруду. Эта рачительность станет отличительной особенностью русских монастырей более позднего времени.