Узаконивая детей Агнессы Меранской, Иннокентий III надеялся перетянуть короля Франции на сторону императора Оттона. Уже в конце весны 1201 года папа дал ему знать о намерении императора договориться с ним. Но Филипп II отныне желал соблюдать нейтралитет в делах империи. Кроме того, несмотря на несколько бесплодных попыток, папа не смог добиться его активного участия в новом крестовом походе. Этот поход, четвертый по официальной нумерации, начался в 1202 году и быстро отклонился от своей главной цели — защиты латинских государств и освобождения Иерусалима. Вылившись в борьбу между христианами, он завершился захватом Константинополя и большей части Византийской империи. В 1204 году ее императором стал Бодуэн, граф Фландрии и Эно, шурин Филиппа Августа.
Очевидно, что в этом странном предприятии прямая ответственность короля Франции не просматривается; инициатива завоевания Византии исходила от венецианцев, которые таким образом заставили крестоносцев расплатиться за свою транспортировку и впоследствии обеспечили себе главенствующее положение в константинопольской торговле. Однако этот неожиданный итог крестового похода, на который Иннокентий III возлагал большие надежды, никак не способствовал тому, чтобы папа стал меньше гневаться на короля Филиппа, до сих пор не сдержавшего своих обещаний относительно Ингеборги. Поэтому ссора между Иннокентием III и Филиппом Августом возобновилась с новой силой. Вскоре она приобрела опасный масштаб в королевстве Французском и кулуарах власти.
Несмотря на королевские обещания, мытарства королевы продолжались. Замок Этамп стал для нее всего лишь почетным узилищем. Если раньше еще были сомнения относительно растущего отвращения Филиппа к его супруге, то теперь линия поведения, которую он избрал, даже несмотря на опасность потерять власть, должна была внести полную ясность. Несчастная жертва, Ингеборга не понимала, что происходит. Не надеялась она разве на окончание своих злоключений, когда супруг похитил ее? После этого короткого периода надежды кошмар вернулся. По всей вероятности, король Филипп рассчитывал, что Ингеборга отречется от своей клятвы по поводу состоявшейся супружеской близости. Однако ему пришлось разочароваться, и его раздражение еще больше возросло после смерти Агнессы Меранской. Он ее, конечно, любил, как, впрочем, любил и Изабеллу де Эно, но когда пришло время испытаний, он оставил при себе юную королеву, расставшись при этом с Агнессой. Короче, отвергая ее, Филипп подчинялся государственным интересам, но он считал, что этот поступок, который так дорого стоил его возлюбленной, принес ему мало пользы. Он возлагал ответственность за столь ничтожные результаты на папу и Ингеборгу.
Итак, королева продолжала свою жизнь затворницы. В первую пору после развода один епископ описывал ее как молодую женщину, которая посвятила себя молитвам, чтению, ковроткачеству и не знала ни смеха, ни игр. Ее несчастья и слезы не мешали ей, однако, молить Бога о здоровье и благополучии Филиппа.
В начале 1203 года она так сильно страдала от притеснений, что написала одно мрачное письмо папе. Она жаловалась на своего супруга, который не приходит к ней и старается отбить у нее вкус к жизни. Он велел мучить ее с помощью лицемерных посланников, которые ее оскорбляют, говорят о ней плохо, заставляют ее подтвердить, что она не состояла с мужем в плотском союзе. У нее нет ни малейшего утешения. Под страхом королевского гнева никто не осмеливается ее навестить, чтобы дружелюбно с ней побеседовать. К ней не допускают никаких посланников из родной страны, и никакие письма от датского семейства не доходят до нее. Ее ограничивают в питании, ей отказывают во врачебном уходе, не позволяют мыться в бане. При ней нет никого, кто мог бы сделать ей необходимое кровопускание, поэтому она опасается за свою жизнь и боится вскоре заболеть тяжелым недугом. Хуже того, она не может ни исповедаться, ни выслушать проповедь какого-нибудь священника. Она бывает только на редких мессах и никогда на других службах. Это описание Ингеборга заканчивает ужасными, душераздирающими подробностями.