В начале 1911 года Павлу Дмитриевичу пришлось оставить и должность предводителя дворянства. Так как я в то время жил с семьей почти безвыездно в своем курском имении и почти не видался с братом, то и тогда, вероятно, не знал сути и подробностей, сопровождавших это обстоятельство, а позже, во всяком случае, забыл их. Поэтому привожу в качестве свидетельских показаний письма двух запрошенных мною по этому вопросу лиц уже после смерти брата. Вот что писал мне 21 апреля 1928 года из Сербии покойный М.В. Челноков, бывший московский городской голова: «Против Павла Дмитриевича поход открыл губернатор, привлекши его к ответственности за «превышение власти» по статье, лишающей права участвовать в выборах. Обвинение было нелепое. В Московской губернии во всех уездах всегда крестьяне засыпали семена, а весной их для посева разбирали без разрешения губернского присутствия, а с согласия уездной земской управы и предводителя. Понятно, Павел Дмитриевич следовал общему порядку и разрешал семена разбирать. В Московской губернии хлебные магазины всегда служили только для хранения семян, а продовольственные запасы хранились в процентных бумагах. Поэтому крестьяне, не трогая продовольственных средств, на семена смотрели как на свою собственность и сдавали их в магазин для удобства – на хранение; даже не допускалась мысль, чтобы возможно было отказать в выдаче. Павел Дмитриевич, получив запрос от губернатора, ответил ему, что разобрать семена он разрешил, как делал всегда и как делается испокон веку во всей губернии. В ответ на это последовало привлечение его к ответственности. Уездная земская управа, которая должна была бы разделить ответственность с Павлом Дмитриевичем, была оставлена в покое, так же как двенадцать остальных предводителей и уездных земских управ, поступавших совершенно так же, как Павел Дмитриевич. В этой постыдной истории интересно отношение князя Павла Дмитриевича к своим коллегам по Дворянскому собранию. Князь остался совершенно спокоен, сохранил лично хорошие отношения с предводителями и только иногда над ними иронически подшучивал».
В конце 1940 года я запросил проживающего в Париже нашего знакомого москвича В.Ф. Малинина, не помнит ли он что-нибудь об этом деле. Вот что он мне написал: «По вопросу о вашем брате князе Павле Дмитриевиче могу Вам сообщить, что, будучи членом Московской городской управы от 1907 до 1917 года, я отлично помню свое участие в составе особого присутствия Московской судебной палаты с сословными представителями при разборе дела о Павле Дмитриевиче вместе с несколькими другими лицами по обвинению в сообщничестве по подстрекательству крестьян Рузского уезда к неисполнению ими каких-то обязанностей, каких – точно не помню. Отлично помню, как Павел Дмитриевич отказался от защитника и защищался сам. Князь был признан виновным, наказание же состояло в отчислении от должности предводителя по суду, что по закону лишало Павла Дмитриевича возможности занимать вообще выборные должности. Этого, конечно, и добивались не столько дворяне, сколько правительство. Я, как Вы знаете, будучи не левым, чувствовал искусственность процесса, как способа изъятия Павла Дм. из общественной деятельности, и поэтому остался при особом мнении».
Следствие и дело тянулись очень долго. Начались перед выборами в 3-ю Государственную думу, в которых он, как подследственный, не мог участвовать, и закончились в декабре 1910 года. «Возможно, – добавляет В.Ф. Малинин, – что в связи с этим приговором последовало и лишение придворного чина камергера». Я не имею никаких данных утверждать, чтобы этот приговор с формальной стороны был неправильным. Однако надо иметь в виду, что в общем специально введенный для политических процессов суд с сословными представителями по своей объективности был ниже суда присяжных и более способен поддаваться административному давлению, как и вообще суд времен министра юстиции Щегловитова. А что касается лишения придворного звания, то не надо забывать, что подобной каре подверглись в ту эпоху и такие лица, как черниговский губернский предводитель дворянства А.А. Муханов и В.Д. Набоков, которые, будь в России правовой строй, были бы консерваторами чистейшей воды и вернейшей опорой трона.