Начиная с XIII в. замок Шато-Гайяр использовался французской короной как крепость и тюрьма для особо важных преступников. Так, 18 июля 1314 г. сюда были заточены неверные жены сыновей Филиппа IV – Маргарита и Бланка. 15 августа 1315 г. Маргарита Бургундская была задушена по приказу своего мужа, ставшего к этому времени королем Франции Людовиком X. Во время Столетней войны в замке Шато-Гайяр по приказу Иоанна II Французского содержался его зять Карл II Наваррский, кстати, внук Маргариты. В 1357 г. он то ли был выпущен, то ли бежал. Источники противоречат друг другу. За время Столетней войны замок Шато-Гайяр пережил несколько осад. В 1417 г. он был взят англичанами после 16 месяцев осады, после того как оборвалась последняя колодезная цепь и осажденные остались без воды. В 1429 г. Ла Гир, соратник Жанны д’Арк, вернул его под контроль французов, но уже в следующем году англичане снова захватывают замок. Окончательно замок Шато-Гайяр вернулся в руки Франции в 1449 г. В конце XVI в., после того как Генрих Наваррский сумел овладеть замком в результате осады, будущий король Генрих IV приказал срыть укрепления Шато-Гайяра, а развалины отдать под монастырь. Однако разрушение не было доведено до конца и было прервано в 1611 г. Спустя несколько лет кардинал Ришелье вновь отдает приказ о разрушении замка Шато-Гайяр. В 1852 г. руины замка Шато-Гайяр были включены в Список исторических памятников Франции.