Хотя в детстве Филипп был лишен матери, у него была вездесущая и властная бабушка, Маргарита Прованская, вдова Людовика IX, которая поддерживала память и дух последнего, всегда находясь в оппозиции к своей невестке Марии Брабантской. В 1276 году Марии было двадцать два года, она любила вечеринки и романтику и возглавляла Брабантский клан, в котором выделялись герцог Брабантский, графы Бургундии, Гельдерна, Голландии, Люксембурга, Дрё, Суассона, Роберт де Сен-Поль и двадцатишестилетний Роберт д'Артуа, племянник Людовика IX. Но прежде всего, брат Людовика IX, Карл граф Анжуйский, граф Прованса женатый на Беатрисе Прованской являвшийся также королем Неаполя и Сицилии. Характер Карла был одиозен для Маргариты Прованской, его свояченицы, которая упрекала его в том, что он обошел ее в наследовании графства Прованс. Маргарита, женщина пятидесяти пяти лет, строгая, суровая, жила памятью о своем святом муже. Между двумя женщинами-королевами существовал не только классический конфликт поколений и конфликт свекрови и снохи, но также и конфликт интересов, стиля жизни, и маленький Филипп находится больше под влиянием своей бабушки, чем мачехи.
Но был и другой человек имевший большое влияние при дворе: Пьер де ла Бросс, из Турени, бывший камергер Людовика IX, который стал фаворитом Филиппа III и являлся главой группировки, настроенной против королевы Марии. Последняя обвинила фаворита в том, что он является инициатором отравления принца Людовика, и сумела предоставить компрометирующие письма, что привело к аресту ла Бросса и казни его без суда на виселице в Монфоконе в июне 1278 года, возможно, даже без санкции короля.
Филипп III предстает весьма невнятным посреди интриг этих соперничающих группировок, а его личность вряд ли вызывала восхищение его сына. Неграмотный и очень набожный, лишенный дальновидности и энергии, Филипп III, подавленный личностью своего отца — нелегко быть сыном святого короля — находился под большим влиянием своего окружения: две его жены, его мать, его фаворит Пьер де ла Бросс, советники Людовика IX, которые держали в узде королевскую администрацию, такие как Матье аббат Сен-Дени, и сменявшие друг друга хранители печати, Пьер Барбе, Анри де Везеле, Пьер Шалон, Тибо де Пуансе. Будучи вспыльчивым человеком, он позволял втянуть себя в плохо подготовленные авантюры, которые закончились унизительными компромиссами. Так было и в 1276 году, когда, отправившись в Испанию с целью поддержать своих племянников, кастильских инфантов (сыновей Фернандо де ла Серда, мужа его сестры Бланки) против Санчо, второго сына Альфонсо X, признанного наследником после смерти старшего сына последнего в августе 1275 года, он не поехал дальше Пиренеев.
Как это часто бывает, благочестие Филиппа III было обратно пропорционально его интеллектуальным способностям. Его личная жизнь была безупречной, и он очень хорошо следовал совету, который дал ему святой отец: «Дорогой сын, я предупреждаю тебя, чтобы ты часто ходил на исповедь; выбирай благоразумных и добродетельных духовников, которые знают, как научить тебя, что ты должен делать и чего избегать; всегда веди себя с ними так, чтобы они могли обличать тебя с такой же смелостью, как и дружить с тобой». Как и его отец, Филипп III очень доверял доминиканцам, которые также предоставили ему проповедника Жиля Орлеанского, другим был Пьер Лиможский, доктор Сорбонны. Церковную свиту дополняли епископ Санлиса, капелланы Мартин, Андре Маре, Жан Эктор, Эд Парижский, Пьер Конде, Анри Везеле, который, возможно, был тамплиером Арнулем де Виземалем, клирик богадельни Имбер, капельмейстеры Берто Орлеанский, Этьен и Роберт Санлиские. Среди них одним из самых замечательных является Анри Везеле, которого булла Мартина IV описывает как человека очень ученого, высокоморального и лишенного амбиций. Такое окружение и пример отца сделали Филиппа III, чье прозвище «Смелый» трудно понять, фанатиком, который не очень хорошо подходил для руководства королевством, и который был более усерден в посте, воздержании и ношении власяницы, чем в управлении делами.
Особенно влиятельным был его духовник, доминиканец Лоран ле Франсуа (Орлеанский), который оставался на своем посту на протяжении всего правления. Известный своими знаниями и мастерством, этот томист в 1279 году стал автором замечательного трактата, переведенного на несколько языков, от которого до настоящего времени дошло около ста списков,