Жизнь Филиппо была погублена. Он находился вдали от родины, лишенный всех прав. Ему приходилось заниматься тяжелым ручным трудом под палящими лучами африканского солнца. И хотя он был «дружен» с хозяином, трудно поверить в то, что он не тосковал по Флоренции и той жизни, какую там вел.
Но даже в рабстве Филиппо не мог подавить свои художественные инстинкты. Однажды он нашел на земле уголек и начал рисовать на побеленной стене хозяйского жилища. Очень быстро он нарисовал портрет своего хозяина в полный рост в характерном мавританском одеянии.
Увидев, что нарисовал Филиппо, другие рабы поспешили сообщить об этом тому человеку, которого он нарисовал. Учитывая положение рабов в Хафсидском королевстве, Филиппо должны были жестоко наказать за то, что он испортил стены хозяйского дома. Но рисунок стал его спасением. Как позже писал Вазари,
это всем казалось чудом в тех краях, где не знали ни рисунка, ни живописи, то это и стало причиной освобождения его от цепей, в которых его продержали столько времени. Поистине величайшей славы достойна добродетель того, кто, имея законное право осуждать и наказывать, поступает обратно, а именно вместо пыток и смерти прибегает к ласкам и дарует свободу.6
Филиппо освободили от тяжелого рабского труда. Теперь он занимался только живописью и радовал хозяина каждой новой своей работой. Вскоре он занял почетное положение и заслужил уважение среди берберского народа.Через полтора года после пленения Филиппо наконец-то позволили покинуть Берберское побережье. Поднявшись на борт корабля, он простился с Африкой, пересек Средиземное море и высадился в Неаполе. Оттуда он двинулся через всю Италию в родную Флоренцию. Но хотя палящее солнце черного континента осталось в прошлом, хотя он никогда больше не чувствовал едких запахов оживленных восточных базаров и не слышал протяжных криков муэдзинов, созывающих правоверных к молитве, Филиппо Липпи навсегда сохранил острое ощущение экзотики, которое сохранил до последнего дня жизни. Продвигаясь на север по Апеннинскому полуострову, он все сильнее чувствовал, что родная страна ему чужда, как это было в далеком детстве.
Хотя в юности Филиппо мог этого и не понимать, но в XV в. Италия обладала исключительно «международным» характером. После пребывания в Северной Африке он не мог этого не заметить. В Неаполе, где постоянно происходило смешение религий, культур и ремесел всего Средиземноморья, испанские мавры говорили по-арабски, иудейский язык изучали ученые, жаждущие знаний, а в церквях господствовала мистическая атмосфера восточного православия. Во Флоренции «чуждость» была еще более очевидна. К моменту возвращения Филиппо его родной город уже превратился в один из самых важных перекрестков мира. На рынках процветающего города торговали экзотическими специями и роскошными тканями с далекого Востока. Флорентийские торговцы знали Константинополь, Москву и Левант так же хорошо, как свой родной город. Во флорентийских дворцах можно было увидеть слуг и рабов самых разных национальностей и цвета кожи. На улицах и площадях рассказывали истории о странных и удивительных дальних краях. Более того, когда Филиппо вернулся в Санта-Мария дель Кармине, во Флоренции заседал большой экуменический совет, который Гоццоли позже прославил в «Шествии волхвов в Вифлеем». По улицам ходили бородатые византийские священники, высокопоставленные представители Восточной империи в ярких шелковых кафтанах, а в тавернах слышала греческая речь и оживленные беседы стремительно продвигающихся на запад турок из Оттоманской империи.
Филиппо понял, что такие города, как Неаполь и Флоренция, вовсе не оторваны от жизни большого мира. Нет, они сами стали центрами, в которых ощущалась жизнь всего мира, где соединялись люди и идеи из самых далеких уголков земли. И чем острее он осознавал всю значимость этого культурного обмена, тем ярче взаимодействие различных обществ, с которыми ему довелось столкнуться, стало проявляться в его искусстве.