Практическая земская деятельность позволила Петру Дмитриевичу основательно познакомиться с земскими проблемами, нуждами сельскохозяйственного производства, с жизнью крестьянства. С образованием в 1902 году по инициативе правительства «сельскохозяйственных комитетов» он принял в их деятельности самое активное участие. Критически оценивая правительственную политику в области крестьянского вопроса, Долгоруков настаивал на расширении компетенции комитетов, введении программы обследования крестьянского хозяйства, на коренном изменении аграрной политики, учете требований как органов земского самоуправления, так и самого крестьянства. Позиция Долгорукова была встречена в штыки министром внутренних дел В.К. Плеве, который потребовал отстранения «князя-бунтаря» от занимаемой им должности. По представлению Плеве Николай II выразил «высочайшее неудовольствие» Долгорукову, отстранил его от должности председателя земской управы и запретил в течение пяти лет участвовать в выборах в органы местного самоуправления. 22 октября 1902 года Петр Дмитриевич был уволен со своего поста. Это известие было встречено либеральной общественностью страны с возмущением, а Суджанская городская дума в знак протеста торжественно преподнесла ему диплом о возведении его в звание почетного гражданина города Суджа. Согласно информации Департамента полиции, земские гласные устроили Долгорукову прощальный обед, на котором были зачитаны многочисленные телеграммы, поступившие от представителей земств многих губерний и уездов России.
Активное участие в земской деятельности явилось для Долгорукова важнейшей предпосылкой и условием его включения в оппозиционную борьбу с авторитарным режимом, противодействовавшим любым проявлениям общественной самодеятельности. А если учесть, что правительство в начале 1890-х годов усилило свой административный натиск на органы земского и городского самоуправления, делая ставку на полицейско-бюрократические методы управления страной, то станет понятной позиция даже лояльных к верховной власти земцев, пытавшихся противостоять бюрократическому произволу. Поэтому закономерно, что в последние годы XIX века по инициативе Московского губернского земства, возглавляемого Д.Н. Шиповым, активизировался процесс консолидации земских сил, прежде всего на уровне губернских и уездных председателей земских управ, которые начиная с 1896 года стали устраивать периодические совещания для обсуждения широкого круга общеземских проблем.
Еще в 1899 году по инициативе братьев Петра и Павла Долгоруковых в Москве был создан полулегальный кружок «Беседа», который включал в себя представителей ряда аристократических фамилий, видных земских и общественных деятелей. Кружок этот недаром называли «палатой лордов». Его основной задачей являлась поддержка оппозиционного духа в земстве, разработка единой программы земской деятельности, а также обсуждение документов и материалов (записки, обращения, петиции) политического характера. В «Беседе» Петр Долгоруков оказался сразу же на либерально-демократическом, левом фланге. Не отрицая важности обсуждения адресов и петиций на имя верховной власти, содержащих умеренные требования гражданских реформ, Петр высказывался за конституционное ограничение самодержавия, за введение народного представительства. Имея в своем распоряжении значительные финансовые средства, он оказывал поддержку издательской деятельности «Беседы», выступал за создание специального печатного земского органа. По инициативе и под редакцией Петра Долгорукова были изданы получившие известность сборники «Аграрный вопрос» и «Мелкая земская единица».
Умеренная в целом позиция кружка «Беседа» не могла удовлетворить Петра Дмитриевича. Он не только принимал активное участие в разного рода земских совещаниях и входил в состав Организационного бюро земских съездов, но настаивал на расширении сферы деятельности земцев, привлечении к либерально-оппозиционному земскому движению демократической интеллигенции. Повышая тон своих оппозиционных выступлений в «Беседе», Петр явился одним из инициаторов создания нелегального журнала «Освобождение», который начал издаваться с лета 1902 года под редакцией П.Б. Струве в Германии. Петр Дмитриевич стал казначеем журнала, ответственным за всю его финансово-организационную работу. Он добывал значительные средства, убеждая богатых земцев в необходимости поддержки либерального оппозиционного органа, сам выделял немалую часть из своих личных средств. Под псевдонимом «Земец» он опубликовал на страницах «Освобождения» несколько статей общеполитического и организационного характера.