Летом и зимой, год за годом все трое носили одни и те же потрепанные костюмы из дешевого вельвета. Матисс регулярно закладывал свои часы (у Марке их украли) и пальто. Платить профессиональным натурщикам в студиях Камилло или Коларосси они не могли, поэтому им не оставалось ничего иного, как только рисовать прохожих или артистов мюзик-холла. Матисс хотя бы занимался в классе Каррьера бесплатно, поскольку согласился стать казначеем (вел книгу учета, собирал плату за обучение и вдобавок присматривал за печкой). Никакой работы найти не удавалось. Марке вспоминал, как после вечерних занятий они сидели с Матиссом на ступеньках перед домом номер 19 по набережной Сен-Мишель и говорили, говорили, силясь найти выход из совершенно безвыходной ситуации. Вместе они попробовали составить список потенциальных работодателей и несколько дней подряд обходили каждый адрес, колеся по городу на омнибусе, но чаще шли пешком, по щиколотку утопая в грязном растаявшем снеге. В конце концов им удалось наняться на временную работу оформителями в мастерскую театрального декоратора Марселя Жамбона.
За девятичасовой рабочий день в холодном, насквозь продуваемом бараке на улице Сакрестан на северной окраине Парижа, где приходилось, согнувшись в три погибели, расписывать расстеленные на полу холсты («словно камнетесы, дробившие камни»), платили девять франков — франк в час. Анри поручили исполнить фриз из лавровых листьев для одного из залов
Молодым супругам ничего не оставалось, как вернуться в Боэн, поскольку Амели летом должна была родить. Пьер Луи Огюст родился 13 июня 1900 года в доме своего дяди Огюста, в честь которого и был назван. Матиссы погостили в Боэне совсем недолго. Хотя мать тепло отнеслась к невестке, Анри чувствовал себя в родительском доме ужасно. Друзья детства все как один преуспевали, брат Огюст процветал (он заправлял делами в отцовской лавке и собирался жениться на дочери торговца зерном из Сен-Кантена), а он сам как был, так и остался жалким неудачником. Между их миром и миром, в котором жил он, не было ничего общего. Матисс не мог больше оставаться здесь ни дня, и они с Амели вернулись в изнывающий от зноя Париж.
Друзья Анри знали о его личной жизни немного. Между собой они жалели его жену: двое малышей на руках, магазин, а муж целыми днями пропадает то запершись в мастерской, то в мюзик-холле на Монмартре. Однако Амели не роптала: целеустремленность Анри, покорившая ее с первой встречи, оставалась для нее самой привлекательной его чертой. По сути, их брак представлял собой довольно необычное партнерство: он занимался живописью, а она обеспечивала «тылы», позволяя мужу спокойно творить. Они обитали в крохотной мансарде над шляпным магазином на улице Шатоден, прислуги у них не было, и никто, кроме шестилетней Маргерит, Амели не помогал. Заботу о муже она считала главным своим предназначением и готова была жертвовать ради него всем. Едва только хлопоты с детьми начали угрожать ее главной обязанности — быть женой Матисса, мальчиков немедленно отправляли к бабушкам с дедушками. «Северная» бабушка брала на себя Жана, а Пьер подолгу гостил у Парейров на Юге. Обоих мальчиков крестили в Боэне 20 января 1901 года (с согласия ли или без ведома их безбожника отца — неизвестно). Дедушка Ипполит Анри Матисс и бабушка Катрин Парейр стали крестными родителями двухлетнего Жана, а дядя Огюст Матисс и тетя Берта Парейр — семимесячного Пьера.