Проявления глубокого интереса Арсеньева к земской деятельности были многообразны. Со второй половины 1880-х годов Арсеньев являлся участником (наряду с П.Н. Милюковым, В.А. Мякотиным, Ф.И. Родичевым, М.С. Свешниковым, А.А. Кауфманом, В.Ю. Скалоном, А.С. Посниковым и др.) так называемых земских бесед, которые часто проходили в его доме в Петербурге и ставили целью разработку земской экономической программы, вопросов просвещения и правового положения земств. В ходе земского съезда (апрель 1903 года) Арсеньев фактически поставил вопрос о серьезной государственной реформе, предложив «ходатайство о приглашении представителей земства – по выбору губернских земских собраний – в центральные государственные учреждения при выработке законопроектов местной реформы». Он был заметной фигурой и на земских съездах в Москве 1893–1894 и 1904–1905 годов (в марте 1894 года – председатель съезда), собраниях либерального кружка «Беседа», члены которого «не мечтали о революции, не видели в ней способа восстановить „законность и право“», а «верили в то, что без катастрофы власть может пойти по пути соглашения с обществом» (В.А. Маклаков). В 1902 году Арсеньев и другие «староземцы» (кн. П.Д. Долгоруков, В.Д. Кузьмин-Караваев, кн. Г.Е. Львов, Н.Н. Львов, Ф.Ф. Кокошкин, Н.Н. Щепкин, Н.Н. Хмелев, кн. Д.И. Шаховской и др.) на страницах журнала «Освобождение» подтвердили свою приверженность тактике исключительно легальной деятельности: «Как раньше, так и теперь, мы остались противниками всякого насилия, откуда бы оно ни исходило, сверху или снизу. Поэтому мы намерены в земстве и через земство действовать путем распространения и уяснения наших идей и организации сплоченной партии, стремящейся к осуществлению этих идей, будучи убеждены, что ясное сознание и твердо выраженное требование общественного мнения есть такая сила, с которой принуждено будет считаться и правительство».
Характерным эпизодом общественной активности Арсеньева стало участие в кампании по оказанию помощи пострадавшим от неурожая 1891 года. Для него важно было лично поддержать людей в постигшем их бедствии. С этой целью он посетил охваченные голодом уезды Тамбовской губернии, в ходе поездки выступил с благотворительными лекциями. На пожертвованные им денежные средства были устроены столовые.
Особо заслуживает внимания вклад Арсеньева в борьбу против земской контрреформы (1890). Посвященные этой теме статьи Арсеньева А.Ф. Кони называл его «лучшими публицистическими работами». Подводя главные «земские итоги» к 1890 году, Арсеньев отмечал: «Почти все лучшее, сделанное в последнее время, стоит в прямой связи с земскими ходатайствами, давно наметившими и пути, и средства к поднятию народного благосостояния. Сюда принадлежат, например, понижение выкупных платежей, отмена акциза на соль и подушной подати, законы фабричные, железнодорожный, лесоохранительный, содействие переселениям, поощрение кустарных промыслов, облегчение для крестьянских обществ арендования казенных земель. Земством возбуждены также многие из числа вопросов, близких к разрешению, – например, вопрос о неотчуждаемости крестьянских наделов, вопрос об ответственности предпринимателей за вред, причиненный рабочим». Арсеньев отмечал «выдающуюся роль» деятельности земства «по охране народного здоровья и по развитию народного образования» («одно только земство создало в России настоящую народную школу»). Он обращал внимание на «отличительную черту земской деятельности за последнее десятилетие» – распространение «и в ширину, и в глубину», что, по его словам, опровергало «как нельзя лучше часто повторяемую фразу об упадке земских учреждений, об овладевшей ими апатии и рутине».
Арсеньев неизменно выступал за расширение функций местных органов самоуправления, полагая, что русское земство «при самых тяжелых условиях оказалось хорошей школой для развития политических способностей и навыков». Он особо подчеркивал воспитательную функцию земства – его важную роль в преодолении характерного для России «истинного нигилизма», под которым он еще в 1870-е годы подразумевал «эгоизм особого рода… недостаток солидарности, личную мелочность, господствующую в уме человека над теми высокими побуждениями, какие могут возникать только из глубокого чувства солидарности с семьею и затем с обществом». По вопросу о пределах распространения сферы действий правительственной власти в обществе он разделял мнение, что «многое зависит здесь от обстоятельств времени и места, от организации власти, от степени развития народа, от способности и привычки его к самодеятельности; никаких неподвижных, всегда и везде обязательных правил в этой области быть не может», однако, – убежденно заявлял Арсеньев, – «никакому сомнению не подлежит только одно: рядом с государственным вмешательством непременно должен оставаться широкий простор для частной и общественной инициативы».