В ответ Франциск, чья рыцарская вера в великодушие императора была сильно подорвана, без колебаний обещал всё, не имея ни малейшего намерения сдержать своё слово после возвращения во Францию. Тогда, желая проверить степень уступчивости короля, Карл попросил его, в качестве особой милости, дать согласие на превращение Прованса в независимое владение для герцога Бурбона. Но у короля хватило ума и присутствия духа ответить прямым и решительным отказом на это требование. Многие испанские вельможи последовали примеру своего повелителя и тоже домогались у Франциска даров и милостей, так что, если бы король выполнил многочисленные обещания, данные им во время пребывания в Испании, от Франции мало что бы осталось.
В пятницу, 16 февраля 1526 года, император в сопровождении Франциска покинул Мадрид. Они вместе пообедали в местечке под названием Сент-Йестафе и оттуда направились в Торрехон-де-Веласко, мощную крепость, расположенную в нескольких лье от Мадрида, где провели ночь. Франциск путешествовал в окружении своего обычного эскорта. Не удовлетворившись этим публичным проявлением недоверия к королю, с которым он только что подписал мирный договор, Карл V приказал выдвинуть к мадридскому Алькасару батальон пехоты, так что эти войска вошли в Торрехон вместе с Франциском с барабанным боем и развевающимися знамёнами.
На следующий день, в субботу, 17 февраля, император проводил Франциска в Ильескас, где находилась в то время Элеонора Австрийская. Королева в сопровождении Жермены де Фуа, вдовствующей королевы Арагона, и графини Нассау, а также коннетабля Кастилии дона Эрнандеса Веласко, приняла своего брата и короля Франции у подножия лестницы, ведущей на большую галерею замка.
Как только император представил Франциска своей сестре, Элеонора сделала глубокий реверанс и наклонилась, чтобы поцеловать его руку. Однако тот галантно обнял свою невесту, и, к большому удивлению придворных, заявил:
— Я хотел бы, чтобы Вы целовали мне не руку, а губы.
Затем, предложив ей свою руку, король повёл её в зал. За ними последовали император и вдовствующая королева Жермена де Фуа. В верхнем конце зала под богатым возвышением стояли четыре стула: Франциск сел рядом с Элеонорой, а Карл V посадил Жермену, по слухам, свою любовницу, справа от себя. Между этими королевскими особами завязалась церемонная беседа, после чего было устроено грандиозное развлечение с танцами и пением. Затем император откланялся и в сопровождении Франциска вернулся в Торрехон, куда они прибыли не раньше часа ночи. На следующий день два монарха нанесли второй визит в Ильескас. Элеонора по просьбе своего брата с неподражаемой грацией станцевала испанскую куранту под бурные аплодисменты Франциска. Казалось, что утончённый вкус короля в целом был удовлетворён его беседами с сестрой императора, и он так тепло высказался по поводу её скорейшего прибытия во Францию, что Карл V начал больше верить в искренность будущего зятя.
На следующий день, в понедельник, 19 февраля, император официально сообщил Франциску, что он может отправиться в Фуэнтеррабию, где должен был состояться его обмен на маленьких принцев. Карл провожал короля около мили по дороге из Торрехона, и два монарха простились друг с другом с большой церемонией, демонстрируя привязанность и скорбь. Рассказывают, что перед тем, как они расстались, Карл внезапно остановил своего коня и, повернувшись к Франциску, сказал ему с вкрадчивой серьёзностью:
— Брат мой, теперь ты свободен, и твоей свободе больше ничего не угрожает. До сих пор мы общались друг с другом как принцы; давайте теперь поговорим как дворяне. Поэтому признайтесь мне по вере и чести истинного рыцаря, намерены ли Вы соблюдать наш договор?
Эта беседа состоялась под высоким крестом, стоящим на обочине дороги. Указав на него, Франциск снова принёс торжественную клятву выполнить договор в мельчайших деталях.
— Тогда, если Вы не сделаете этого, — заметил император, — я могу сказать, что Вы были так же неверны своей чести, как и договору?
— Можете сказать так, — ответил король, и с этими словами два монарха расстались.
Из Торрехона Франциска проводили в его старое жилище в мадридском Алькасаре. Император пообещал, что немедленно отправит его на границу, но по прибытии короля в Мадрид солдаты потребовали выплатить им задолженность по жалованью. Тогда Аларсон, начальник стражи, из-за мятежа отказался выполнять императорский указ до прибытия свежих войск для формирования нового королевского эскорта, настолько он боялся, что Франциск может воспользоваться недовольством солдат для побега.
В среду, 21 февраля, король, наконец, покинул Мадрид, где провёл самый тяжёлый период своего плена, и добрался до маленького городка Святой Огюстен, на расстоянии в восемнадцать миль. На следующий день он отправился в особняк, принадлежащий герцогу де Инфантадо, где его приняли с большим гостеприимством и великолепием. Дон Диего устроил грандиозную охоту для развлечения Франциска и тот застрелил оленя из арбалета.