Родители Филиппа — Рафаэле де Феррари, герцог де Галльери в Генуе, князь Луцедио, сенатор Королевства Сардиния и герцогиня Мария Бриньоле-Сале — слыли богатейшими людьми Европы. Будучи президентом и членом совета директоров нескольких железнодорожных компаний и банков, дон Рафаэле весьма преуспел в законных и незаконных финансовых операциях, приумноживших его состояние, но при этом был и весьма щедрым меценатом и благотворителем. Так, например, в 1840-х гг. герцог вложил 12 млн долларов (по тем временам фантастическая сумма) в реконструкцию порта Генуи, за что его именем назвали главную площадь города. Находясь во Франции на дипломатической службе, Феррари своими делами, роскошью и филантропией успешно конкурировал с самим Ротшильдом. В Париже он с семьей обосновался в бывшем доме Талейрана, во дворце Матиньон. Там после смерти родителей жил и Филипп. (Сегодня во дворце располагается резиденция французского премьер-министра.) Феррари-старшему предлагали достоинство пэра Франции, но он отказался, пожелав остаться гражданином Италии.
Не меньшей щедростью прославилась и Мария Бриньоле, подарившая Парижу под выставки редких работ свой уникальный по красоте дворец Галльери с прилегающим садом. (Ныне здесь находится знаменитый Парижский музей городской моды.)
Герцогский сын, будущий коллекционер и претендент на престол Франции по линии Филиппа Орлеанского, родился 11 января 1850 г. в Париже.
С блеском окончив лицей Людовика Великого, Филипп ушел в преподавательскую и дипломатическую деятельность, занял профессорскую кафедру в Школе политических наук. Феррари вполне мог стать великим ученым, если бы не стал великим коллекционером-филателистом. Впрочем, именно он первый превратил филателию в науку.
Страсть приобретательства, одолевавшая его предков, вылилась у Филиппа в страсть коллекционирования. Этому всячески способствовала его мать, также не чуждая всякого собирательства. Мария покупала сыну редкие марки за немалые деньги, в частности, приобрела очень дорогую коллекцию барона Ротшильда.
В 14 лет подросток стал специалистом в филателии, сам совершал покупки и готов был выложить за них любую сумму, поскольку имел на это от родителей карт-бланш. Начав с парижских и брюссельских лавочников, Филипп вскоре стал желанным покупателем у самых известных торговцев марок, а в филателистических кругах прослыл знатоком редкостей.
В середине 1860-х гг. Феррари познакомился с известным парижским торговцем Пьером Маэ, стал его постоянным клиентом и через 10 лет назначил его одним из двух своих секретарей. Маэ занимался классификацией марок и был куратором частного музея; позднее Пьер выпустил первый каталог почтовых марок. Он же принимал друзей и знакомых филателиста. Чести познакомиться с сокровищами коллекции, размещенными в двух залах, удостаивались далеко не все приходящие, среди которых было немало просителей и бедных. Но и этих гостей милосердный Филипп не оставлял своим вниманием — для них на двух больших столешницах стояли блюда с яствами и золотыми франками, с которых каждый мог угощаться соразмерно своему вкусу и аппетиту.
Говорят, филантроп оказывал щедрую помощь многим людям, но ни сумм, ни имен облагодетельствованных им история не оставила, так как Филипп не трубил о своих благих делах, и воистину левая рука его не знала, что делает правая.
По отзывам современников, вечный холостяк Феррари вообще был очень «странен», замкнут и одинок; в выставках не участвовал, рекламы избегал, в СМИ не светился, в специальных изданиях публиковался крайне редко. Это с годами только добавило таинственности oблику «мсье Ф. из Парижа», а о его баснословно дорогой коллекции говорили кому что вздумается.
Совершать же сделки Филипп предпочитал сам. Рассчитываться любил также золотыми монетами (в неделю уходило до 50 тысяч франков), которые вынимал одну за другой из бездонных карманов, пока продавец не кивал согласно, а потом в эти же карманы засовывал приобретенные марки. Купленные марки филателист никогда не продавал, разве что дубликаты менял на другие марки.
Зная шесть языков и имея друзей в разных странах, Филипп в поисках марок, произведений прикладного искусства и монет постоянно разъезжал по европейским столицам. (Его нумизматическая коллекция, включавшая бесценное собрание папских монет и монет стран Британского Содружества также была названа «классической».)
После смерти герцога Рафаэля Феррари (1876) Филиппа усыновил австрийский граф Э. де ла Ренотье Кригсфелд. Граф за год до рождения Филиппа квартировал со своим полком в поместье герцога. Эта пикантная подробность настолько заняла воображение жизнеописателей филателиста, что они стали называть его внебрачным сыном австрийца. Но, как бы там ни было, именно с этого времени коллекционер стал называть себя бароном Филиппом Альбертом де ла Ренотье фон Феррари.