Но однажды Преподобный Сергий неожиданно покинул основанную им обитель. Случилось это после возвращения в Свято-Троицкий монастырь его родного брата Стефана. Тот позавидовал славе святого. Стефан заявил, что именно он основал обитель и должен называться ее игуменом.
Сергий спорить не стал и ушел из Троицкой обители. Дойдя до монастыря на Махрище, Преподобный попросил тамошнего игумена дать ему проводника, который мог бы показать ему пустынные места. Святому особенно понравилось одно живописное место на берегу реки Киржач. Здесь он поставил себе келью и начал строительство церкви.
Снова стали приходить к Преподобному Сергию люди, прослышавшие о подвижнике, живущем в лесах. И скоро здесь выросла новая обитель: были построены многочисленные кельи, освящена деревянная церковь в честь Благовещения Пресвятой Богородицы.
Монахи Троицкого монастыря, тосковавшие по своему игумену, узнав, где находится Преподобный Сергий, пришли в Благовещенскую обитель и слезно просили его вернуться. И святой их просьбу исполнил. А игуменом Благовещенского монастыря оставил одного из своих учеников – инока Романа, впоследствии прославленного в лике святых.
Сергий всегда был равнодушен к чинам и почестям. Однажды его пригласил в Москву митрополит Московский Алексий, бывший в то время предстоятелем Русской Церкви. Митрополит Алексий видел в Сергии своего преемника. Он давно хотел сделать игумена Троицкой обители епископом, но знал, что Сергий не любит чинов и вряд ли согласится. Всё же незадолго до смерти митрополит вызвал Преподобного Сергия к себе в Москву.
«Во время их беседы, – сообщает Житие, – митрополит повелел принести украшенный драгоценными камнями золотой крест и параман (часть монашеского облачения – небольшой четырехугольный плат с изображением Креста Господня, орудий Страстей Христовых и Адамовой головы). Но, смиренно поклонившись, святой ответил: «Прости меня, владыко, от юности я не был златоносцем, а в старости желаю тем более пребывать в нищете». Митрополит Алексий продолжил склонять Сергия к принятию епископского сана, но тщетно. Сергий отказался, говоря, что не может «восходить на степень выше своей меры».В 1378 году святитель Алексий скончался, и по воле московского князя Дмитрия Ивановича кандидатом в московские митрополиты был определен приближенный князя – архимандрит Михаил, по прозвищу Митяй. Митяй, зная, что митрополичья кафедра могла достаться Сергию, начал устраивать нападки на старца, распускать о нем дурные слухи и грозить разорением его монастырю. Когда Сергий узнал об этом, он сказал ученикам, что Митяй сам не получит желаемого епископства и даже не увидит Царьграда, потому что он побежден гордостью. Так и случилось.