Позже, когда он был уже председателем Центрального комитета партии Народной свободы, кто-то пустил про него довольно злую шутку: Lieder ohne Worte (Песня без слов), над которой он сам добродушно смеялся. Мне передал один очевидец сцену на Московском дворянском собрании, произведшую на него большое впечатление. Обсуждался вопрос об исключении из Дворянского собрания Ф.Ф. Кокошкина за его участие в подписании Выборгского воззвания. Павел Дмитриевич хладнокровно читал по карандашному наброску свою речь в его защиту, не обращая внимания на неблагоприятное для него настроение собрания, резко враждебного в отношении Ф.Ф. Кокошкина, на собрании не присутствовавшего. Но когда кто-то позволил себе грубую реплику, касавшуюся Милюкова, Павел Дмитриевич вдруг вскипел, стукнул кулаком по столу и заявил, что недостойно так выражаться о лице, ничем не запятнанном, хотя и находящемся в другом политическом лагере, чем оратор. Бедный Павел Дмитриевич не предвидел, как ему впоследствии, уже в эмиграции, придется разойтись с Милюковым по программным и особенно по тактическим вопросам. У него, впрочем, политические разногласия не переходили в личную неприязнь.
В самом начале XX столетия брат принимал деятельное участие в организации учительских обществ и союзов. Так, он председательствовал на I съезде учительских обществ взаимопомощи, происходившем в Москве на рождественских каникулах 1902—1903 годов. Во время своего предводительства брат мой получил придворное звание камергера.
Одновременно с общественною деятельностью Павел Дмитриевич стал заниматься и своими хозяйственными делами, причем показал себя достаточно практичным и предприимчивым хозяином. Главным образом он развил в наших имениях лесное хозяйство, особенно в большом лесном имении на севере Костромской и на юге Вологодской губернии в уездах Чухломском и Галичском. Имение это было запущено, далеко от железных дорог, и в нем издавна хозяйничали крестьяне, отпущенные на оброк, а дешевый лесной материал, продаваемый за бесценок, сплавлялся по реке Костроме. Брат построил большой лесопильный завод с выделкой паркета и некоторых других деревянных изделий. Особенно поднялась ценность этого имения при прохождении близ него вновь выстроенной Петербургско-Вятской железной дороги. Доходы с него шли главным образом на содержание дачи-богадельни на Охте у Петербурга, в которой содержалось около 15 старых наших фамильных служащих пенсионеров. Заведовал и привел ее в порядок также мой брат. В Волоколамском уезде, верстах в 30 от Волынщины, он приобрел близ строящейся Московско-Виндавской железной дороги большое лесное имение, из которого доставлял в Москву дрова и в котором построил также лесопильный завод. Уже будучи в эмиграции, он написал из Белграда письмо в Times, напечатанное там 5 октября 1923 года и перепечатанное в «Руле» от 12 октября, в котором он протестует по поводу появившегося в английской торговой газете перечня лесного материала в России, годного для отправки в Англию. Среди перечисленных там 26 лесных складов указан и его лесопильный завод в Костромской губернии с готовым материалом на 600 тысяч золотых рублей. В своем письме он заявлял, что при постройке завода он под него сделал в банке долг, который он или его наследники должны будут со временем заплатить. В конце письма он обращался к известной честности и порядочности англичан в торговых делах и предостерегал от покупки награбленного имущества.