Более 30 лет подвизался он в обители, когда игумен убедил его принять в 1198 году сан пресвитера. Посвященный в сан пресвитера и избранный духовником, преподобный, украсив себя «иерейскою лепотою», ни одного дня не опуская без совершения литургии и проповедания слова Божия. Он явился столь искусным проповедником, что его наставления привлекали к нему многих слушателей. Целыми толпами шли к нему духовные и миряне, чтобы насладиться его богомудрыми беседами и уврачевать свои язвы душевные. Вместе с тем прп. Авраамий не оставлял обычного своего подвига иноческой жизни, как любитель нищеты и смирения. Видя совершенства подвижника, поднял на него крамолу враг человеческий, возбудив зависть собратий. Много клевет и гонений пришлось перенести ему от людей, завидовавших его влиянию на народ. Они вооружили против Авраамия самого игумена и ему запрещено было вести беседы с народом. И через 5 лет преподобный вынужден был перейти в бедный Крестовоздвиженский монастырь в самом Смоленске. Но народ и сюда стал стекаться толпами к преподобному за наставлениями. Помимо бесед народ привлекала сюда и строгая подвижническая жизнь Авраамия. На пожертвования богомольцев был украшен соборный храм монастыря иконами, завесами и свечами. Сам он написал две иконы на темы, которые более всего занимали его: на одной изобразил Страшный суд, а на другой — истязания на мытарствах. И опять сетовал враг человеческий, что Господь прославил раба Своего.
Сам преподобный Авраамий утруждал плоть свою чрезвычайным постом. Лицо его было бледно и необыкновенно сухо. Подвижник был похож в священных одеждах на святителя Василия Великого, жизни которого подражал. Святой был строг и к себе, и к духовным детям. Он неустанно проповедовал в церкви и приходящим в его келлию, беседуя равно с богатыми и бедными. Строго наблюдал он во время Божественной службы, чтобы никто из братии и народа не позволяли себе беседовать в церкви, ибо почитал сие за святотатство и с особенным благоговением совершал Божественную службу.
Много испытал преподобный Авраамий искушений демонских, видимых и невидимых, во время своего подвига, ибо в страшных образах являлся ему враг человеческий, думая устрашить, но всегда был побеждаем молитвой преподобного. Тогда, будучи не в силах действовать лично на святого, диавол возбудил против него клевету в городе, что преподобный проповедует ересь, живет нечисто и наружной святостью прикрывает темные дела. Эти слухи дошли до епископа Игнатия, и весь город пришел в смущение. Городская знать и духовенство требовали у епископа предать преподобного суду. Они предлагали утопить или сжечь подвижника. В это время случилось быть у епископа князю и боярам. На суде князя и епископа преподобный отвел все лживые обвинения, но, несмотря на это, ему запретили священнодействовать и перевели в прежний монастырь в честь Пресвятой Богородицы. И вот в городе открылись разные беды: засуха и болезни. Напрасно совершались молебствия — ничто не помогало. Тогда священник Лазарь явился к епископу Игнатию и просил разрешить служение преподобному Авраамию, иначе еще большие беды постигнут жителей. Епископ Игнатий разрешил св. Авраамия, просил у него прощения в неправильном осуждении его и молитв за город и жителей. Смиренный инок сам просил епископа помолиться. Возвратившись в келлию, преподобный Авраамий предался усердной молитве, и вдруг пошел обильный дождь и засуха кончилась. Тогда все убедились воочию в праведности преподобного и стали высоко уважать его.
Епископ Игнатий имел намерение построить каменную церковь в честь Ангела своего вне города, где полюбилось ему пустынное место, с тем, чтобы устроить около нее малый монастырь. Но впоследствии он изменил свою мысль и основал церковь на другом месте, уже не во имя своего Ангела, но на память Положения ризы Богоматери во Влахерне, и собрал при ней несколько братий, которые питались милостыней епископской. И никто не хотел быть игуменом в столь убогой обители. Между тем вспомнил еп. Игнатий, что блаженный Авраамий скорбел иногда об удалении от города той обители, в которой прибывал не ради себя, но ради приходивших к нему за советами духовными, и поручил ему настоятельство в сане архимандрита. И сам, оставив по старости епархию, поселился в нем. Так вознаградил Господь долгие страдания угодника Своего, и некогда уничижаемый всеми внезапно от всех прославился. Уже не боялись приходить к нему чада его духовные, но отовсюду толпами стекались, даже и сами бывшее клеветники смиренно припадали к ногам его, прося себе прощения. Благолепно украсил преподобный дом Пресвятой Богородицы, как невесту, богатыми завесами, иконами и лампадами. И много было желавших поступить под руководство преподобного Авраамия, но он принимал их весьма разборчиво и после больших испытаний, отмечая истинное усердие приходивших, так что в его монастыре собралось только 17 братий.