Нетрудно предположить, что он не был ни человеколюбивым, ни кротким. Гордый, убежденный в своей вере и превосходстве над другими, он был самонадеян и груб и ни перед кем не склонял головы. Где бы он ни служил, нигде он не уживался с местными властями. И все это сходило ему с рук, даже когда он, назначенный в 1742 году митрополитом Ростовским, отказался присягать императрице Елизавете как высшему судье Синода. И опять непокорность сошла ему с рук – Елизавета разрешила этих слов не произносить. На ростовской кафедре Арсений оставался таким же суровым и жестоким, как в Сибири. Он строго следил за соблюдением «благочиния и чистоты» в среде духовенства, беспощадно расправлялся с раскольниками, даже сносил часовни, которые использовали с виду примерные прихожане, а на самом деле – скрытые старообрядцы. Они его боялись – всю свою жизнь митрополит оставался аскетичным и неподкупным, а это была тогда большая редкость среди церковников.
Если многие из иерархов – коллег Арсения по Синоду – поддерживали его по принципиальным вопросам, то в целом жил он с ними немирно – каждый приезд его в Петербург был отмечен ссорами и несогласиями. В Синоде усматривали в поступках митрополита не праведность, а безмерную гордыню – уж очень дерзко он себя вел, неподобающим образом оспаривал решения светских властей. Особенно острое столкновение с властью вышло у Арсения из-за того, что государство использовало монастыри для заключения в них преступников и превращало монастыри в дома престарелых отставных солдат. Арсений писал Синоду, что «монастыри устроены и снабдены награждением для богоугодного пребывания честных, беспорочных и неподозрительных лиц, вечного спасения желающих… места святые и освященные на всегдашнюю службу Богу, а не для содержания сумасбродов, воров и смертных убийц-колодников». За употребление таких поносительных выражений Синод объявил Арсению выговор, хотя все там понимали, как он прав: ведь власть совсем не считалась со статусом монастырей, даже не ставила в известность Синод и настоятелей, кого и за что привозят из Тайной канцелярии в монастыри для вечного заточения. Так, императрица Елизавета собиралась поселить на Соловках, где устав запрещал находиться не только женщинам, но и безбородым мужчинам, а также скотине женского пола, свергнутую правительницу Анну Леопольдовну с ее фрейлинами и их женской прислугой. И поселила бы, если бы не ранний ледостав на Белом море.
Другие времена для Арсения наступили с приходом к власти императрицы Екатерины II в 1762 году. Воспитанная на Вольтере и просветительской литературе, она мало верила в Бога и видела в церковниках ретроградов и реакционеров. Конечно, как православная государыня, она исполняла все необходимые ритуалы, но в церкви старалась сесть где-нибудь на балконе и там часами раскладывала пасьянс. Поэтому неудивительно, что она могла только приветствовать идеи секуляризации церковных владений, которую власти и начали осуществлять в 1763 году.
Арсений, не менявший своих взглядов, не мог молчать в такой обстановке. Он, как и раньше, твердо стоял за самостоятельность церкви и неприкосновенность ее владений. Видя, как приехавшие гвардейские офицеры описывают имущество его епархии, он послал в Синод протест, где писал, что даже татарские ханы почитали имущество церкви, а теперь власть действует хуже «иностранных неприятелей». В итоге с началом секуляризации Арсений оказался единственным из всех церковных иерархов, кто открыто выступил против реформы. Екатерина II крайне болезненно восприняла протесты Арсения, сочтя их вызовом лично ей, самодержице. В 1763 году Арсений был арестован и ему был устроен допрос в присутствии императрицы. И это окончательно решило его судьбу. Он, как всегда, вел себя дерзко, вызывающе, и в какой-то момент императрица в гневе вскочила, зажала уши, а Арсению «закляпили рот» и поволокли в тюрьму. Синод единогласно лишил Арсения сана и сослал его в дальний монастырь как простого чернеца. В архангельском Николо-Корельском монастыре Арсения поместили в каземат. Он вызывал уважение своим аскетическим, праведным образом жизни даже у солдат охраны, которые видели, как старец сам носил воду и колол дрова. И тут он был верен себе: сурово укорял монахов в беспробудном пьянстве. Они написали донос, и в 1768 году Арсения расстригли и тайно, «в мужичьем платье», отвезли в Ревельскую крепость. Там поначалу он пользовался некоторой свободой – его водили в церковь, разрешали прогулки. Но потом условия заточения резко ужесточили. В присланной инструкции говорилось об Арсении как о «некотором мужике Андрее Бродягине». Потом Екатерина «переименовала» Бродягина во «Враля».
С тех пор по всем документам он проходил под позорным именем «Андрея Враля».