"Иереи и черноризцы" восстали против святого именно в связи с его книжным учением. После богословских диспутов с городским духовенством сам игумен, доселе покровительствовавший святому, запрещает ему: "Аз за тя отвечаю у Бога, ты же престани уча". Святой, принявший от него "много озлоблениа", оставляет свой монастырь и переселяется в Смоленск. Здесь, в Крестовоздвиженском монастыре, он продолжает свою учительную деятельность. Многочисленные его почитатели снабжают его средствами для помощи бедным и для украшения храма. Но врагам Авраамия удалось возбудить против него чуть ли не весь город; опасность угрожала самой его жизни: "Собраша же ся вси от мала и до велика весь град нань, инии глаголют заточити, а инии к стене ту пригвоздите и зажещи, а друзии потопити и, проведше всквози град..." В описании горестных событий, быть может, чувствуется перо очевидца: "Посланые же слуги, емше, яко злодея влачаху, они ругахуся ему, инии же насмехахуся ему и бесчинная словеса кидающе, и весь град и по торгу и по улицам – везде толпа народа, и мужи же, глаголю, и жены и дети, и бе позор тяжек видети". На владычном дворе собрались для суда не только епископ (Игнатий) с духовенством, но и князь с боярами. Однако миряне признали Авраамия невинным, и епископ, оставив его под стражей вместе с двумя учениками, на следующий день собирает чисто духовный суд ("игумени и ереи"). Ефрем не приводит приговора этого суда и хочет подчеркнуть благополучный исход его: "Не приемшу ему никоего зла". Однако Авраамий отослан в свой первоначальный монастырь, на Селище, и из дальнейшего видно, что ему было запрещено совершать литургию. Два праведника предсказывают епископу гнев Божий на град Смоленск за гонение на святого: "Великой есть быти опитемьи граду сему, аще ся добре не опечалиши" (не покаешься). Уже тогда епископ Игнатий "скоро посла по всем игуменом и к всем попом, заповедая и запрещая всем от всякого речения зла престати, яже на блаженного Авраамия". Однако преподобный продолжает оставаться под запрещением. Обещанная "епитимия" приходит в виде страшной засухи. Молитвы епископа и всего народа остаются неуслышанными. Тогда по совету третьего, не названного по имени иерея Игнатий призывает св. Авраамия, снова расследует обвинения против него "и испытав, яко все лжа", прощает его и просит молиться о страждущем граде. Бог услышал молитву святого: "Еще преподобному не дошедшу своея келия, одожди Бог на землю дождь", и с этого времени возобновилось почитание Авраамия и стечение к нему народа.
Последние годы святого прошли мирно на игуменстве в новом, третьем по счету монастыре его. Епископ Игнатий хотел построить монастырь во имя своего святого и уже поставил церковь за городом на месте скупленных им огородов, но потом почему-то се разрушил и перенес на новое место, освятив во имя Пресвятой Богородицы, "положения честныя ризы и пояса". Этот монастырек, где питалось несколько старцев щедротами епископа, не пользовался, по-видимому, особым уважением. Охотников идти в игумены не было. "По мнозе же времени" Игнатий вызывает с Селища Авраамия и дает ему благословение: дом Богородицы. Авраамий с радостью принимает игуменство, продолжая "пребывать в первом подвизе" учительства и духовничества для сограждан. Пользуясь общей любовью, преподобный пере жил своего епископа и преставился от болезни после пятидесяти лет подвижничества.
Необычайность подвига св. Авраамия и перенесенных им гонений ставит пред нами вопрос о их источнике. Биограф его св. Ефрем неоднократно подчеркивает, что преподобный стал жертвой смоленского духовенства. Его ученость и дары пастырства противополагаются "невежам, взимающим сан священства". На суде "князю и властителем умягчи Бог сердце, игумном же и ереем, аще бы мощно, жива его пожрети". Вот почему и наказание (смерть) постигает только попов и игуменов. Позднейшее примирение Авраамия со св. Игнатием заставляет автора по возможности смягчить роль епископа в этом злочастном процессе: он представляется скорее жертвой и орудием "попов и игуменов". Но автор не пожелал скрыть острого конфликта между святым и огромным большинством духовенства и драматически развил этот конфликт в житийную "пассию" ("терпение"). Какие же мотивы предполагает он у враждебной партии?
О многом читателю приходится лишь догадываться. Некоторые из приводимых мотивов носят корыстный или человеческо-мелкий характер. Вспомним, что к Авраамию стекалось из города множество народа: он был для многих "отцом духовным". Отсюда понятны жалобы священников: "Уже наши дети вся обратил есть". На этой почве вырастает клевета: "Инии же к женам прикладающе". Но важнее и интереснее другая группа обвинений: "Овии еретика нарицати, а инии глаголаху нань – глубинные книгы почитает... друзии же пророком нарицающе". Еретик, пророк, читатель запрещенных книг – эти обвинения относились к самому содержанию его учения. Оно смутило и его игумена, столь ученого и первоначально столь расположенного к нему.