С 1895 г. и до приезда в Псков в конце 1903 г. он состоял на службе в качестве инспектора, а затем ректора Новгородской Духовной семинарии, инспектора и ректора Московской Духовной Академии
В 1897 г. хиротонисан в епископа Волоколамского, викария Московской митрополии.
В феврале 1902 г. присутствовал при пострижении в монашество своего духовного чада, студента II курса Московской Духовной Академии Сергея Симанского, в иночестве Алексия (будущего патриарха Алексия I).
В конце 1903 г. владыка Арсений был назначен во Псковскую епархию, которой управлял почти 7 лет. В числе его главных дел как архиерея – создание школы псаломщиков и церковного музея, а также историко-археологического комитета при нем. Знакомясь с положением дел и вникая во все дела вверенной ему епархии, Арсений особое внимание обратил на состояние начального образования, в частности, церковно-приходских школ, а также церковного пения. Он усиленно боролся с чрезвычайно низким уровнем грамотности, который застал в Псковской губернии: уже в первый год пребывания преосвященного Арсения в Пскове с его благословения было открыто 6 новых церковно-приходских школ.
Помимо низкого уровня грамотности населения, беспокойство владыки Арсения вызывала еще одна грустная сторона общественной жизни – пьянство. Как и в других городах, в Пскове действовал губернский комитет попечительства о народной трезвости. Главное орудие в борьбе с пороками современной жизни Арсений видел в возрождении и укреплении религиозной жизни и религиозной нравственности. Энергично занялся он и возрождением подлинного церковного пения. Так, в мае 1904 г. с благословения архиерея в Пскове открылись регентские курсы, а в августе того же года – съезд учителей пения духовных училищ и церковно-приходских школ Псковской епархии.
В 1904–1905 гг., годы Русско-японской войны, владыка Арсений обращается к духовенству епархии с просьбой вносить добровольные пожертвования не только на военные нужды, но и оказывать отеческое попечение о семьях воинов. Владыка посещал раненых, по его благословению в октябре 1904 г. в Пскове на городской площади совершался всенародный молебен о даровании победы русскому воинству.
1 октября 1905 г. была торжественно открыта школа псаломщиков – любимое детище пресвященного.
В январе 1906 г. Высочайшим повелением владыка Арсений был назначен на должность председателя Учебного комитета при Святейшем Синоде, а через год избран членом Государственного совета.
8 февраля 1907 г. возведен в сан архиепископа.
В ноябре 1910 г. архиепископ Арсений возглавил Новгородскую епархию.
В 1914 г. в Петербурге вышел двухтомник под заглавием «На духовной страде. Слова и речи» высокопреосвященного Арсения. Значительная часть речей и статей двухтомника посвящена духовной школе и вообще – школе, то есть воспитанию нового поколения. Как проповедника, владыку Арсения отмечали простота, образность речи и высокий подъем чувств.
15 августа 1917 г. в Москве открылся Поместный Собор Русской Православной Церкви. Арсений – член Собора и заместитель Председателя Собора – фактически руководил почти всеми соборными заседаниями, был Председателем отдела Собора о правовом положении Церкви в государстве, член Высшего Церковного Совета и Св. Синода, один из трех кандидатов на Патриарший престол вместе с Тихоном (Беллавиным), митрополитом Московским и Коломенским, и Антонием (Храповицким), архиепископом Харьковским и Ахтырским.
5 ноября 1917 г. в храме Христа Спасителя у чудотворной иконы Владимирской Богоматери старец-затворник Зосимовой пустыни Алексий вынул жребий избранника. Патриархом стал Высокопреосвященнейший Тихон. Он вскоре вынес предложение правительствующему Синоду возвести в сан митрополита бывших кандидатов на патриарший престол, что и было сделано соответствующим Указом 29 ноября 1917 г.