Павел принимал активное участие в культурной жизни Москвы: был близок к театральным кругам, состоял пайщиком акционерного предприятия Московского художественного театра, поддерживал дружеские связи с его ведущими артистами. Павел был лично знаком с Л.Н. Толстым, бывал в его доме в Хамовниках. Однажды совершил поездку в Ясную Поляну для открытия там по поручению Московского общества грамотности народной библиотеки.
Павел Долгоруков зарекомендовал себя практичным и инициативным помещиком. В лесном имении в Чухломском и Галичском уездах он построил большой завод по выделке паркета, в Волоколамском уезде приобрел лесное имение вблизи Московско-Виндавской железной дороги, построил там лесопильный завод и организовал доставку дров в Москву. При этом Павел не забывал о благотворительности. Так, на Охте у Петербурга он содержал дачу-богадельню, где на полном обеспечении жили его старые служащие.
Политическая известность принесла Павлу Долгорукову немалые испытания. Власть не раз пыталась дискредитировать его прежде всего как общественного деятеля. В 1906 году его ложно обвинили в том, что он якобы пытался противодействовать получению Россией крупного займа во Франции. В связи с этим против него развернулась кампания порицания; намекали даже на измену. Для Павла Долгорукова – истинного патриота – это был болезненный удар. Однако он смог с достоинством выдержать все нападки. Спустя годы, уже оказавшись в эмиграции, многие из очевидцев и участников той истории подтвердили необоснованность обвинений. Хоть и с опозданием, но справедливость была восстановлена. Впрочем, и в 1906 году серьезных аргументов у обвинителей Павла не оказалось, и власти не смогли добиться его отстранения от политической деятельности.
Это удалось сделать несколько позже, когда против Долгорукова было инспирировано дело о превышении власти в качестве предводителя дворянства. Обвинение было построено на чисто формальных придирках: речь шла о раздаче зерна крестьянам по разрешению князя. В таких действиях не было ничего криминального; точно так же из года в год поступали многие предводители дворянства. Однако пострадал лишь Долгоруков, и это говорило о том, что «избирательные» придирки выполняли репрессивную функцию. Следствие и разбирательство тянулись очень долго и закончились в декабре 1910 года: отчисленный с поста предводителя по приговору суда, Павел Долгоруков потерял право занимать какие-либо выборные должности. Последовало лишение его придворного чина камергера. Но и эти удары он выдержал спокойно и, не потеряв лица, продолжил общественную деятельность: на нем лежали обязанности бессменного главы пацифистского «Общества мира», созданного в Москве в 1909 году по его инициативе.
«Общество мира» представляло собой отделение Международного центра пацифистского движения. В июне 1910 года Павел участвовал в работе XVIII Стокгольмского конгресса мира, сделал доклад в его секции. На одном из заседаний конгресса произошел эпизод, который как нельзя лучше характеризовал патриотизм Павла. В ходе дискуссий был поднят вопрос о нарушении царизмом прав различных национальностей России. Павел посчитал для себя недостойным участвовать в порицании политики Российского государства «на собраниях международного характера» и, присоединившись к протесту другого российского делегата – И.Н. Ефремова, – покинул зал заседаний.
Одной из важнейших задач деятельности «Общества мира» Павел полагал изучение национальных проблем. Причем и здесь, в силу независимости характера и цельности политического мировоззрения, он не боялся идти наперекор возобладавшим общественным настроениям. Вскоре после начала Первой мировой войны он организовал многолюдное собрание «Общества» в зале Политехнического музея. В обстановке небывалого всплеска шовинизма он твердо и открыто выступал против истерии германофобии. «Будем патриотами, – призывал он, – но не будем шовинистами».
Необходимость более обстоятельного обсуждения национальных вопросов подчеркивалась Долгоруковым и на заседаниях кадетского ЦК. Характерна его позиция относительно польского вопроса, изложенная им в специальном докладе на одном из майских заседаний ЦК в 1916 году. Он полагал возможным и даже необходимым предоставить объединенной Польше независимость в случае победоносного для России и ее союзников окончания войны. Если же война «окончится вничью», России, по мнению Долгорукова, следовало ограничиться предоставлением российской части Польши «широкой автономии», так как «самостоятельность лишь части Польши создаст в Европе равновесие неустойчивое, постоянно угрожающее международному миру, который может быть нарушен и в момент для России наименее благоприятный».