Карл родился в начале 1227 г., через несколько месяцев после смерти своего отца, короля Людовика VIII, и его детство пришлось на то бурное время, когда его мать, Бланка Кастильская, подчинила своей власти непокорную знать Франции. Бланка была гордой и сильной женщиной, слишком занятой политикой для того, чтобы уделять достаточно времени и любви своим детям. Чувство долга объединило ее с благочестивым старшим сыном, Людовиком IX Святым, чьи интересы она так неустанно защищала, и который отплатил ей безоговорочной, почтительной преданностью. До Карла же, который из всех детей Бланки больше всего походил на нее, матери, казалось, не было дела. Людовик Святой был снисходителен к своим братьям, насколько позволял его аскетичный, нелюдимый склад характера, но его любимчиком был второй брат, Роберт, граф Артуа, отважный, красивый юноша, погибший из-за своей горячности в битве при Мансуре во время Египетского крестового похода. Из двух оставшихся братьев, Альфонса и Карла, Людовик предпочитал Альфонса, и Карл об этом знал. Альфонс, граф Пуатье, был болезненным, мнительным, трудолюбивым и угрюмым человеком. Он был женат на Жанне Тулузской, богатейшей наследнице во Франции, но редко жил в южных владениях своей жены, предпочитая быть поближе к Парижу, пока толпа курьеров сновала туда-сюда с дотошными инструкциями по управлению его уделом, за выполнением которых он тщательно следил. Он был справедливым и благочестивым, разве что несколько жадноватым правителем, и король, его брат, считал его рассудительным и верным советником. Их единственная сестра, Изабелла, еще молодой удалилась от мира в монастырь Сент-Клуд, который сама основала.
Обделенный любовью семьи, Карл с юных лет привык полагаться только на себя. Он вырос высоким и мускулистым юношей, с темно-оливковой кожей, унаследованной от кастильских предков, и длинным носом — от Капетингов. Карл был прекрасно сложен; от матери он унаследовал ее энергию. Карл получил хорошее образование и никогда не утратил уважения к учению и любви к поэзии и искусству. Но он унаследовал свойственный его семье аскетизм и всегда мог отказаться от удовольствий во имя более высокой цели. Но если аскетизм короля Людовика проистекал из его искренней набожности, то аскетизм Карла был средством к удовлетворению жажды власти. Его благочестие было по-своему искренним, но в основном выражалось в уверенности, что Господь избрал его своим орудием.83
Семья хоть и не осыпала Карла проявлениями родственной любви, зато одарила его немалыми материальными благами. Еще до его рождения умирающий отец завещал Карлу (при условии что родится мальчик) богатые апанажи
Анжу и Мэн. Только в 1247г., в возрасте двадцати лет, Карл вступил во владение этими двумя графствами, но за год до того его мать и брат устроили его брак с богатой наследницей, Беатрисой Прованской. Беатриса была младшей из четырех прекрасных дочерей Раймонда-Беренгария IV, графа Прованса и Форкалькье. Из ее сестер Маргарита вышла замуж за короля Людовика в 1234 г., Алиенора — за короля Генриха III Английского в 1236 г., а Санча, красивейшая из них, — за Ричарда Корнуэльского, будущего Римского короля, в 1243 г. По феодальному обычаю, поскольку в семье не было сына, дочери должны были стать сонаследницами, но Раймонд-Беренгария не хотел дробить свои земли и оставил их целиком Беатрисе, решив, что ее сестры в достаточной степени вознаграждены богатым приданым. К несчастью, их приданое так и не было выплачено до конца, и оставленные без наследства сестры чувствовали себя обманутыми, в частности — королева Маргарита, старшая сестра, которая с тех пор ненавидела Карла. Вскоре Карл также испортил отношения со своей тещей, Беатрисой Савойской, которая поссорилась с ним из-за своего вдовьего наследства.84