Арсения сослали сперва в Ферапонтов монастырь, а потом под Архангельск, в Николо-Карельский, «без права письменного и словесного общения». Но владыка и в ссылке продолжал свои протесты, а среди монахов нашлось немало сочувствующих ему. Некоторые считали его за мученика, а настоятель почитал как архиерея.
Но нашлись два монаха, которые написали донос императрице, мол, ссыльный бранил Синод. Дело переквалифицировали в политическое, и приговор последовал соответствующий – расстричь, переодеть в мирскую одежду, переименовать в Андрея Враля и сослать на вечное заточение в Ревель (Таллин), в каземат башни Гросштанпорт, похожий на сырую каменную могилу размером два на три метра.
Молва стала разносить слухи, что Андрей Враль по пути в Ревель молился в одном из храмов по дороге: как был, в арестантской одежде, прошел прямо в алтарь, а конвоиры, когда посмотрели туда, оцепенели: вместо арестанта у престола причащался человек в сверкающем архиерейском облачении. Екатерину эти слухи явно раздражали, и коменданту крепости Тизенгаузену она писала:
В этом каземате Арсений провел пять лет в полном одиночестве: к нему никого не допускали, не давали бумаги и чернил, а охране было запрещено с ним даже разговаривать – при попытке узника заговорить караульным было предписано вставлять ему пыточный кляп.
В какой-то момент его замуровали: заложили дверь его каземата кирпичами, оставив только окошечко, чтобы подавать пищу. Только в феврале 1772 года, перед смертью узника, Екатерина II разрешила допустить к нему священника, с которого взяли подписку, что он под страхом смерти потом никому ничего не расскажет. Дверь открыли, он вошел в камеру, но тут же в страхе выбежал с криком, что там «архипастырь в полном облачении». Через несколько минут, придя в себя, он в сопровождении пристава снова вошел в каземат. На койке лежал арестант. Напутствовав страдальца, священник попросил у него благословения, и умирающий дал ему на память свой молитвенник с надписью «Смиренный митрополит Ростовский Арсений».
Через день, 28 февраля 1772 года, владыка скончался. На стене его камеры осталась выцарапанная углем фраза из 118-го псалма:
Расправа над святым Арсением стала шоком для Церкви, и в короткой перспективе Екатерина ею добилась своих целей: иерархи были устрашены, и против секуляризации имущества и земель Церкви никто больше не восставал. А в долгой перспективе священномученика Арсения полтора столетия тайно чтили в народе как страдальца за Церковь. Поместный собор 1917–1918 годов отменил неправедный приговор Синода о нем и посмертно возвратил ему архиерейское достоинство. В 2000 году Арсения прославили к общецерковному почитанию.
Дело владыки Арсения – самое громкое, но подобных в эту пору было еще немало.
В Сибири велось следствие против митрополита Тобольского и Сибирского Павла (Канюшкевича) – его также обвиняли в сопротивлении секуляризации церковных имений. Причем все дело было сшито по ложным наветам. Но его все равно лишили кафедры и отправили «на покой» в Киево-Печерскую лавру.