Капцевич внедрил ряд новшеств. Распорядился отбирать в каждом батальоне по 70 лучших в строевом отношении солдат в качестве образцового ядра для всех рот. Завел практику направлять на неделю офицеров в инвалидные команды с целью организации обучения стражников. Изобретенная им так называемая маятная этапная система позволила усовершенствовать и облегчить конвойную службу. Он был строгим, но справедливым начальником, вникал до мелочей в жизнь и быт солдат, поощрял за усердие и наказывал за нерадивость, требуя того же и от офицеров. Проявлял беспощадность к должностным лицам, изобличенным в злоупотреблениях, использовании подчиненных в личных целях, коррупции. Запрещал запугивать солдат, перегружать их службой в караулах. Взыскивал с офицеров за поверхностное отношение к инспектированию, когда одни и те же недостатки повторялись из года в год:
Требования его приказов, где идет речь о службе, укреплении дисциплины, заботе о солдате, офицерской чести, и сегодня звучат поучительно и актуально.
Капцевич умело сочетал высокую требовательность с заботой о подчиненных. В числе его заслуг рациональное использование запасного капитала для выплат офицерам столовых денег и улучшения питания нижних чинов.
Капцевич с 03.06.1837 г. занял почетное место председателя Комитета о раненых, учрежденного 18 августа 1814 г. Александром I. Членами комитета были генерал-адъютанты. В их числе графы — Комаровский, Голенищев-Кутузов, Бенкендорф и др. В 1839 г. император Николай I, знакомясь с отчетом, представленным ему комитетом за 1838 г., нашел, что все расходы правильные и доходы значительно увеличили инвалидный капитал. Сам Капцевич положил в сохранную казну 40 тыс. руб. ассигнациями, назначив из процентов этой суммы ежегодно выдавать в родном Переяславле 800 руб. в приданое беднейшей девушке дворянского и 400 руб. мещанского сословий, по 200 руб. столовых денег начальнику местной инвалидной команды и по 200 руб. на улучшение пищи нижним чинам.
Участник 40 боев и походов, П. М. Капцевич командовал ОКВС 12 лет.
Подводя итоги этой деятельности, Русский биографический словарь отмечает, что генерал П. М. Капцевич о себе
За свою деятельность на посту командира ОКВС награжден орденами Св. Александра Невского и Св. Владимира 1-й степ.
Из-за расстроенного здоровья он получил продолжительный отпуск. В плачевном состоянии оказались и домашние дела. В заемном банке появился значительный долг (52 тыс. руб., занятых под залог дома в Санкт-Петербурге). Владелец 300 душ крестьян был не в состоянии управлять отданным ему в аренду казенным имением в Виленской губернии (награда за штурм Парижа в 1814 г.). К тому же срок аренды уже дважды продлевался на 12 лет, он истекал в 1840 г. В этих обстоятельствах Капцевич решился обратиться к императору с просьбой о новом продлении срока аренды и выдаче половины ее суммы. Прошение рассматривалось у министра государственных имуществ П. Д. Киселева. Средств не хватало, и Капцевич просит помочь избавиться ему от накопившегося долга за счет запасного капитала Отдельного корпуса внутренней стражи, где благодаря его же усилиям и бережливости сумма капитала за 7 лет выросла до 1 141 759 руб. 29 марта император согласился погасить долг за счет резервного капитала банка. Но воспользоваться царской милостью Капцевич уже не смог…
Свой отпуск он проводил в имении генерала Тимашова. Лечился кумысом, целительные свойства которого он испытал на себе, когда жил в Сибири. Почувствовав себя легче, увлекся охотой, но простудился и слег. 3 июля 1840 г. его не стало.
Похоронен в с. Никольском (в 50 км от Оренбурга).
Капцевич был женат на княжне Марии Петровне Прозоровской (родственнице генерал-фельдмаршала князя А. А. Прозоровского), имел двоих детей: сына Николая (1818–1862), офицера русской армии, и дочь Софью (была фрейлиной Высочайшего Двора, вышла замуж за генерал-майора А. К. Эссена).