В 1456 году Липпи был назначен приором в женский монастырь Санта Маргарита в Прато. Самая красивая и юная из монахинь — Лукреция Бути — позировала фра Липпи для изображения Девы Марии.
Джорджо Вазари:
«…монахинями из Санта Маргарита ему был заказан образ для главного алтаря, и, когда он над ним работал, ему как-то раз довелось увидеть дочь флорентийского гражданина Франческо Бути, которая была туда отправлена не то на воспитание, не то в монахини. Фра Филиппо, заглядевшись на Лукрецию (так звали девушку, отличавшуюся величайшей красотой и обаянием), так обошел монахинь, что добился у них разрешения написать ее портрет, чтобы поместить его в виде фигуры Богоматери в заказанную ими картину. И, влюбившись в нее по этому случаю еще пуще прежнего, он после этого всеми правдами и неправдами добился того, что похитил Лукрецию у монашек и увел ее в тот самый день, когда она пошла смотреть на перенесение пояса Богоматери — чтимую реликвию этого города. Монахини были весьма опозорены этим обстоятельством, и не веселее было и отцу ее Франческо, который приложил все усилия, чтобы получить ее обратно, но она либо из страха, либо по другой причине так и не пожелала возвратиться, а предпочла остаться у Филиппо, от которого у нее родился ребенок мужского пола, названный также Филиппо и ставший впоследствии, подобно отцу, отличнейшим и знаменитым живописцем».
Не всякому такой поступок мог бы сойти с рук, но фра Филиппо имел богатых и влиятельных покровителей, его мастерство ценили многие. В 1461 году он был освобожден от монашеского обета папой Пием II и вступил в брак с Лукрецией. Сын фра Филиппо и Лукреции Филиппино Липпи (1457–1504), ученик Боттичелли, унаследовал живописное дарование отца.
Большую часть жизни прожил во Флоренции величайший скульптор кватроченто — Донателло (Донато ди Никколо ди Бетто Барди), бывший близким другой Козимо.
Джорджо Вазари: