После разбирательства, окончившегося полным оправданием о. Исаакия, он, возвратившись в Арзамас, поставил вместо себя настоятелем Введенской обители своего ученика Афиногена и удалился в Саровскую пустынь.
Посоветовавшись с иноками, жившими в Старом городище, о. Исаакий начинает хлопоты по строительству храма и основанию новой обители. Несколько лет он провел в Санкт-Петербурге, оформляя необходимые для строительства документы. Он был известен и почитаем в царской семье. Благодаря своей настойчивости и связям в столице, в начале 1706 года о. Исаакий сумел получить Высочайшее разрешение Петра I и местоблюстителя Патриаршего престола Стефана (Яворского) на строительство церкви.
В феврале 1706 года начали валить лес, в мае на городище уже высился сруб. 16 июня 1706 года был освящен первый храм Саровской пустыни во имя иконы Божьей Матери Живоносный источник. Эта дата считается днем основания Саровского монастыря.
Вслед за храмом были построены деревянные кельи для монахов и трапезная; одновременно с возведением монастыря шло строительство «подземного города». Начало ему было положено о. Исаакием задолго до открытия пустыни, когда в качестве временного убежища он вырыл себе пещеру в горе. Впоследствии эти пещеры расширялись, в них устраивались кельи для молитвенного уединения.
Деятельность о. Исаакия не ограничивалась только внешним устройством пустыни. Вместе с первой церковью возникает монашеское общежительное братство. Отец Исаакий с единодушного согласия братии приступает к написанию устава Саровской обители. Через месяц после освящения церкви он собрал всю братию, жившую на Саровской горе, и предложил им устав, написанный по строгим древним образцам. По совету с братией, о. Исаакий отослал устав на утверждение местоблюстителю патриаршего престола, преосвященному Стефану (Яворскому), митрополиту Рязанскому и Муромскому. Впоследствии этот устав послужит образцом для многих монастырей России.
Насколько строги были правила Саровского монастыря, настолько же суров был и быт монахов. Все нужное для жизни добывалось собственным трудом, при этом братия не имели никакой собственности. Сами возделывали землю, сеяли хлеб, на жерновах мололи муку. Занимались токарным и столярным делом, шили одежду, плели лапти, служившие обычной обувью. Одежда монахов была простой: летом — балахоны из холста, зимой — тулупы. Вкушать пищу разрешалось лишь в трапезной. Единственным лакомством братии в праздничные дни служил настой из малины и мяты, который пили с медом.
Вскоре после постройки первой церкви поставили еще два храма и кельи для гостей. Территорию монастыря обнесли оградой. К 1711 году был готов пещерный город с подземной церковью. В том же году в Саровскую обитель была прислана грамота местоблюстителя патриаршего престола с утверждением устава обители.
Монастырские дела требовали от настоятеля новоустроенной обители частых поездок в столицы. В одну из таких поездок он тяжело заболел и принял схиму с именем Иоанн, дав обет отказаться от настоятельства в Саровской обители.
Поправившись, он вернулся в Саровскую пустынь. За время его отсутствия многие дела оказались расстроены, а среди братии были неурядицы. Они просили своего старца навести порядок, но он вынужден был отказаться, сославшись на обеты, данные при пострижении в схиму. Тогда братия обратилась к местоблюстителю митрополиту Стефану, прося его разрешить о. Иоанна от обета. Митрополит с пониманием отнесся к прошению Саровской братии, указав о. Иоанну «быть настоятелем и служить по-прежнему».
К 1729 году у Саровской обители были 22 тысячи десятин земли. Императрица Анна Иоановна своим Указом от 25 октября 1730 года «...все земли, сенные покосы и рыбные ловли» утвердила за Саровской пустынью навечно, «...не в пример другим». Число братии в 1733 году было 36 человек.
Так случилось, что жизнь основателя обители о. Иоанна закончилась не в Саровском монастыре, как он мечтал, а в Санкт-Петербурге, в Тайной канцелярии. В 1733 году, по ложному доносу, саровские иноки были заподозрены в государственной измене. В Саров прискакали чиновники Тайной канцелярии с солдатами для ареста о. Иоанна. Сковав цепями, его посадили под караул. Затем, допросив иночествующих, собрались везти его в Петербург. Преемник о. Иоанна — о. Досифей — едва упросил караульных позволить братии проститься со своим старцем.
Перекрестясь, первоначальник саровский положил три поклона пред святыми вратами созданной им обители. Затем, обернувшись к оставляемой им братии, трижды поклонился ей в ноги, на что и братия отвечала земным поклоном. Затем он молча осенил ее крестным знамением.
Около четырех лет протомился Иоанн вузах в Петербурге. Перед кончиной, напутствуемый Святыми Дарами, он просил духовника доставить в Саровскую пустынь письмо с его предсмертным заветом братии — твердо хранить устав, держать мир и любовь между собой и безропотно нести послушания. Иеросхимонах Иоанн, скончавшийся 4 июня 1737 года, похоронен при церкви Преображения Господня, что в Колтовской, в Санкт-Петербурге.