Сын Натальи Борисовны князь Михаил Иванович очень почитал графа Петра Борисовича, однако внук ее князь Иван Михайлович Долгорукий относился к нему резко отрицательно. Отрицательное отношение он выплеснул на страницы своих сочинений. В 1810 году он писал: «…Граф Петр Борисович сделался наследником 60 тысяч душ не один, у него был брат, несколько сестер, в том числе моя бабка… и так граф Петр Борисович отнял все у безсильного и сделался могуч на чужих развалинах». Резко негативное отношение к графу Петру Борисовичу просматривается и в известном сочинении «О повреждении нравов в России» князя Михаила Михайловича Щербатова, свойственника князей Долгоруковых. Князь Щербатов писал о Шереметеве как о человеке, «не носившем, а таскавшем свое имя». О графе Петре Борисовиче крайне неприязненно писал и князь Петр Владимирович Долгоруков в своих мемуарах, изданных в 1868 году в Женеве. «…Она (княгиня Долгорукая. –
Граф С.Д. Шереметев, с большим почетом относившийся к доброму имени своих предков, в 1897 году на страницах журнала «Русский архив» опубликовал документ из домового архива, датированный 5 февраля 1745 года. Это расписка вдовы княгини Н.Б. Долгорукой, данная ею брату после ее возвращения с сыновьями из ссылки. В документе перечисляется все движимое и недвижимое имение, которая она от него получила по завещанию отца, фельдмаршала Шереметева. Она получила при выходе в замужество от брата движимого имущества на четырнадцать с половиной тысяч рублей, три тысячи рублей деньгами и «…вотчину в Пензенском уезде село Дмитриевское Тютняр тож, в ней мужеска пола пять сот душ с помещичьим двором и с винным заводом и с мельницами… с которой получается в год доходу шесть сот рублев». В тексте документа оговорено, что она или ее наследники заплатят неустойку в 1000 рублей, если кто-нибудь из них станет предъявлять требования на другие имения. К этой расписке приложена и «Роспись приданому княгини Н.Б. Долгорукой».
Совсем другой образ графа Петра Борисовича Шереметева предстает перед нами в воспоминаниях графини Антонины Дмитриевны Блудовой, которая ценила свое давнее родство с Шереметевыми – ее дед по матери князь Андрей Николаевич Щербатов приходился двоюродным братом графу Петру Борисовичу. «…Граф Петр Борисович был вообще добрый человек и родственник, как он доказал моему деду. Князь Н.П. Щербатов переехал уже на жительство в Москву, когда ему пришло время отдавать на службу сына своего, моего деда, князя Андрея, и отправить 16-летнего мальчика в Петербург. Это было в самом начале царствования Елисаветы. Его отправили прямо к двоюродному брату уже скончавшейся матери, и живя в его доме, скоро привязался к нему и к его жене, графине Варваре Алексеевне, урожденной княжне Черкасской… Они его полюбили… Родилась у них дочь Анна Петровна, которую князь Андрей полюбил с ея рождения как дочь, как сестру, как друга; она в нем находила и друга, и пестуна…»
Отношения графа Петра Борисовича с другой сестрой, княгиней Екатериной Борисовной Урусовой, были родственными, она получала от брата пенсию 500 рублей в год. Ее дети, два сына и две дочери, также поддерживали родственные связи со своим дядюшкой Петром Борисовичем. Княжна Анна Алексеевна Урусова получала от него пенсию. Княжна Варвара Алексеевна при выходе замуж за князя Ивана Федоровича Касаткина-Ростовского получила от дяди деньги на приданое. Однако между ними возникали трения материального характера – племянники Урусовы требовали приданную вотчину их матери в Алексинском уезде, которая вернулась в род Шереметевых.
«Дело претендетелей»
Еще одной тяжелой внутрисемейной проблемой для графа Петра Борисовича Шереметева оставались сложные отношения с потомками его старшего брата графа Михаила Борисовича, умершего в 1714 году. Они возникли на той же имущественной почве и стали следствием перехода к нему всех имений отца.
Но они не всегда были такими. Петр Борисович поддерживал добрые отношения со своими единокровными сестрами и племянниками.
Дочь графа Михаила Борисовича графиня Марфа Михайловна, в замужестве княгиня Долгорукая, овдовев, вместе с сыном жила в доме брата. Ее сын князь Иван Алексеевич Долгоруков получал от Петра Борисовича пенсию 600 рублей в год. Семья другой племянницы, графини Екатерины Михайловны, по мужу Салтыкова, жила в Фонтанном доме, а в середине XVIII века в одном из московских дворов брата «по родству». Графиня Александра Михайловна Шереметева была замужем за графом Федором Андреевичем Апраксиным, с семьей которого со времен фельдмаршала существовали близкие отношения.
Сын покойного графа Михаила Борисовича, приходившийся племянником Петру Борисовичу, полковник граф Алексей Михайлович Шереметев (он был на 15 лет старше своего дяди) жил в «петербургском» доме. (Возможно, в Фонтанном доме?) Конец его печален: болезнь и ранняя смерть в 1734 году, расстроенные имущественные дела.