Петр Дмитриевич Долгоруков родился 1 мая 1866 года в аристократической семье, происходившей из древнейшего княжеского рода Рюриковичей. Среди прямых предков братьев-близнецов Петра и Павла Долгоруковых – ближайший боярин Владимир Дмитриевич Долгоруков (1654–1701), псковский и казанский воевода, черниговский наместник, управлявший в 1681–1682 годах Разбойным приказом; князь, генерал-аншеф Василий Михайлович Долгоруков (1722–1782), получивший в 1775 году почетный титул «Крымский» за покорение полуострова. Дедом Петра по отцовской линии был Николай Васильевич Долгоруков (1789–1872) – действительный статский советник, президент Придворной конторы. Хорошо был известен в России и род матери Петра и Павла Долгоруковых, урожденной Орловой-Давыдовой, прежде всего благодаря пяти братьям Орловым, приближенным императрицы Екатерины II. Дед по материнской линии – граф Владимир Петрович – один из крупнейших русских землевладельцев, англоман, получивший образование в Оксфорде, в свое время подавал императору Николаю I записку о желательности освобождения крестьян от крепостной зависимости на правах безземельных арендаторов, за что был отправлен на несколько лет за границу.
Вскоре после рождения близнецов их родители – Дмитрий Николаевич Долгоруков и Наталья Владимировна Орлова-Давыдова – перевезли братьев из Царского Села в Москву в огромный особняк в Малом Знаменском переулке, неподалеку от храма Христа Спасителя. Окруженные многочисленными нянями, гувернантками и гувернерами, домашними учителями, братья зиму проводили в Москве, а на лето их вывозили в подмосковное имение Волынщина, где возвышался памятник их знаменитому предку Долгорукову-Крымскому. Ближе к осени семья перебиралась в другое подмосковное имение деда В.П. Орлова-Давыдова – Отрада Серпуховского уезда, там, в семейном склепе, покоились останки братьев Орловых. Достаточно часто родители брали сыновей за границу: на европейские курорты Мариенбад и Карлсбад, где лечилась их мать; путешествовали по Италии, Франции, Германии, Швейцарии.
В 1879 году Петр поступил в 1-ю Московскую классическую гимназию, а после ее окончания в 1884 году – на историко-филологический факультет Московского университета. После окончания университета в 1889 году он поступил вольноопределяющимся в Нижегородский драгунский полк, а после завершения службы начал понемногу вникать в семейные хозяйственные дела. Переломным моментом в выборе общественно-политической ориентации стал для него 1891 год, когда он принял активное участие в кампании по борьбе с голодом в Самарской губернии. Петр познакомился тогда с Л.Н. Толстым, который оказал большое влияние на формирование его общественной и нравственной позиции. Не случайно в дальнейшем Петр станет последовательным пацифистом, войдет в руководство «Общества мира» в Москве. Здесь же, в Самарской губернии, Петр познакомился и с группой петербуржцев: князем Д.И. Шаховским, В.И. Вернадским, С.Ф. и Ф.Ф. Ольденбургами, А.А. Корниловым, которые участвовали, как и он, в борьбе с «самарским голодом», а несколько позднее в организации либерального движения и Конституционно-демократической партии.
Поселившись в своем имении в селе Гуево Суджанского уезда Курской губернии, Петр показал себя знающим и рачительным хозяином. Владея обширными земельными угодьями (1972 десятины земли), он сумел организовать интенсивное сельскохозяйственное производство, разводил породистый молочный и рабочий скот. С 1892 года и в течение последующих десяти лет Петр занимал должность председателя Суджанской земской управы, избирался губернским земским гласным. На посту председателя уездной земской управы он много внимания уделял постановке агрономической помощи крестьянам, организации народного образования в уезде и губернии.