Тогда ему было двадцать три года, он был одним из самых молодых членов парламента, но больше всего его увлекало искусство. О его любви и познаниях в искусстве ходили легенды. Он был известен как эстет, знаток и меценат. В 1921 году премьер-министр Ллойд Джордж признал компетентность Филипа и выбрал его попечителем Национальной галереи, став, вероятно, самым молодым человеком, выдвинутым на эту должность, а в 1933 году он был назначен председателем. Он также стал попечителем галереи Тейт и коллекции Уоллеса - хет-трик назначений в самые важные художественные учреждения в стране . Он был плодовитым коллекционером, в основном живописи XVIII века, и возглавил возрождение интереса к ней. Покровитель Джона Сингера Сарджента и других художников, Филип украсил стены своего дома на Парк-лейн множеством прекрасных картин, в том числе портретами Сарджента, изображающими его мать и сестру. Кеннет Кларк, известный историк искусства и директор Национальной галереи, описал Филипа как "своего рода фигуру Харуна аль-Рашида, развлекающегося с восточным великолепием в трех больших домах, бесконечно любезного со своими друзьями, остроумного, меркантильного и в конечном итоге загадочного".
В качестве парламентского личного секретаря Ллойд Джорджа он сыграл роль в конференции в Сан-Ремо в апреле 1920 года, на которой было принято решение о распределении мандатов Лиги Наций на бывшие османские провинции Палестину, Сирию и Месопотамию. На конференции были подтверждены заверения лорда Ротшильда в поддержке Великобританией национального дома для евреев в Палестине, содержащиеся в Декларации Бальфура. Хаим Вейцман, президент Всемирной сионистской организации (впоследствии первый президент Израиля), присутствовавший на конференции, был взбешен тем, что Филипп не проявил никакого интереса к Палестине и еврейским делам, заметив: "Единственным человеком, который игнорировал все это дело [Палестину], был Филип Сассун, еще один секретарь Ллойд Джорджа и, как оказалось, единственный еврейский член британской делегации". Другие Сассуны также не были сторонниками сионизма, и хотя они делали некоторые пожертвования благотворительным организациям в Палестине, в основном они шли на религиозные цели. Несмотря на то, что Филипп был членом синагоги, его "не трогала вера его предшественников. Вместо этого он находил духовную разрядку в преданности самым прекрасным изображениям, созданным человеком". Суеверный по натуре, Филип настаивал на том, чтобы в его машинах и самолетах был "талисман в виде кобры". Сибил также держала иудаизм на расстоянии и разделяла скептическое отношение брата к сионизму, заявляя, что если сионизм призван "служить открытием для наших бедных единоверцев в России, которым приходится так много страдать, то я только за, но лично я не верю в возрождение нашего народа на его древних землях".
Филипп проявлял гораздо больший интерес к театру высокой политики и предоставил свой особняк Порт-Лимпн (построенный в 1913-14 годах в стиле капской голландской архитектуры), расположенный недалеко от Хайта, в распоряжение премьер-министров Великобритании и Франции, Ллойд Джорджа и Александра Миллерана, для обсуждения вопроса о репарациях Германии за войну. Сомнительно , что Филипп сыграл какую-либо значительную роль в этих переговорах, но он, очевидно, был рад принимать у себя в гостях двух таких центральных личностей. Некоторые высмеивали его роль, а британский фашист Освальд Мосли считал Филипа "скорее посмешищем среди молодого поколения за то, что он служил Ллойд Джорджу в качестве личного секретаря в мирное время непосредственно после того, как во время войны он служил в том же качестве генералу Хейгу". Антисемитизм Мосли был частью духа времени, и в статье, опубликованной по поводу назначения лорда Рединга, который был евреем, вице-королем Индии, высказывалась примерно противоположная точка зрения на способности Филипа:
Реальная опасность заключается в том, что к многочисленным евреям, принимающим участие в управлении нашей империей, добавляется еще один еврей. За всеми действиями мистера [Ллойд] Джорджа скрывается рука сэра Филипа Сассуна.
Однако более распространенной была критика раболепия Филипа перед великими людьми того времени, Ллойд Джорджем и Уинстоном Черчиллем. К. К. Скотт-Монкрифф, переводчик Пруста, даже написал стихотворение на эту тему:
Сэр Филип Сассун - депутат от Хайта
Он пышный, щедрый, смуглый и стройный,
Обидчивый, скромный, неформальный и несерьезный...
Дома, в которых он живет, дорогие, но целомудренные.
Но сэр Филипп Сассун непревзойденно разбирается во вкусах...
Сэр Филип Сассун и его предки, похоже,
Проживают в Англии в течение нескольких лет
Где их дружеское вторжение беспристрастно приносит