Валентинуа не собирается долго задерживаться в Неаполе. Говорили, что он задумал перебраться в Романью (такой уж он был человек!), хотя и чувствовал царящую вокруг атмосферу ненависти и недоброжелательства. Более того, в Испании происходили важные события. Джустиан и Катанеи утверждают (у меня нет никаких доказательств, подтверждающих их заявление), что мрачно-спокойная герцогиня Гандийская появилась при дворе его католического величества Фердинанда и поинтересовалась, будет ли, наконец, восстановлена справедливость; в убийстве мужа она обвиняет герцога Валентинуа. Их католические величества, король и королева Испании, были крайне враждебно настроены к Александру VI из-за его профранцузской политики, называя ее предательской, считали, что за этим стоит герцог Валентинуа, и поэтому не нуждались в долгих объяснениях. Они отдают распоряжение Гонзальве арестовать Чезаре и отправить его в Испанию. Получив приказ, Гонзальве оказался в весьма затруднительном положении, поскольку дал слово чести предоставить свободу герцогу Валентинуа. Спустя годы знаменитый капитан (Гонзальве), вспоминая свою полную приключений жизнь, сказал, что за все прожитые годы он три раза был вынужден нарушить свое слово и каждый раз это причиняло ему сильную боль. Это был один из тех случаев. Он обязан подчиниться своему королю. Вечером Гонзальве отправляет Чезаре послание с просьбой немедленно прибыть в Кастель-дель-Ово, поскольку в окрестностях бродят большие отряды родственников человека, у которого по приказу Чезаре отрезали язык. Чезаре верит слову Гонзальве и вновь оказывается в тюрьме. На этот раз окончательно.
В августе 1504 года человек, который мог бы стать королем Италии, плыл на борту испанского корабля в страну своих предков. Его сопровождал Просперо Колонна, который, преодолев неприязнь, ведет себя весьма благородно, обращаясь с Чезаре как с равным себе свободным человеком. Герцога Валентинуа заключают в крепость Чинчилла. Поговаривали, что король собирался устроить общественный суд и казнить герцога, а если и оставить его в живых, то лишь затем, чтобы наводить ужас на Юлия II. Стоило оказаться в заточении в далекой стране, как о нем постепенно начали забывать, даже жена. Единственным человеком, который никогда не забывал о нем, была Лукреция. С завидной энергией и упорством она продолжала интересоваться судьбой брата. В первые месяцы правления Юлия II шел разговор о водворении Валентинуа в Ферраре. Папа обсуждал этот вопрос с Костабили, на что тот без обиняков ответил, что герцог Эрколе вряд ли согласится на подобное бремя (Юлий II наверняка и не ждал иного ответа). Страстно желая определиться с возможностями Чезаре, папа пишет королю Франции, не позволит ли он Валентинуа жить на принадлежащей королю территории. Людовик XII любезно отвечает, что готов оказать гостеприимство герцогу, главным образом для того, чтобы удовлетворить многочисленные обращения герцогини Феррарской. Письмо должно ввести в заблуждение Валентинуа, вот цель, которую преследует король. Одновременно с этим письмом Людовик XII посылает второе письмо, герцогу Феррарскому, в котором заявляет, что никогда ни при каких обстоятельствах не разрешит Валентинуа въезд во Францию. Более того, он советует герцогу поменьше интересоваться этим «папским бастардом». Конечно, Эрколе пришелся по душе такой совет. Эти письма лишний раз доказывают не только двуличность Людовика XII, но и сильную обеспокоенность Лукреции судьбой поверженного брата.
Альфонсо д'Эсте много путешествовал. Все его дорожные размышления сводились к практическим современным аспектам знаний, таким, как градостроение и благоустройство территорий, сооружение крепостей и строительство портов. Но он не обходил стороной и вопросы, связанные с семьей: права законных детей и бастардов, права на наследование, справедливость и дружба между братьями и, конечно, отношения между мужем и женой. Он не испытывал ни малейшего интереса к политическим играм в борьбе за долю в наследстве и власть, но это вовсе не означало, что у него не было собственных политических убеждений. Его пристрастие к Венеции было общеизвестно, и невольно предполагалось, что в будущем намечается политический союз с «Serenissima». Тем временем Альфонсо, выжидая подходящего момента, занимался своим литейным производством, излюбленными пушками, токарным станком, на котором работал часами, и изготовлением майолики, которое давало ему возможность насладиться трудом ремесленника. Придворные презирали Альфонсо за его любовь к простому труду и простым людям. Эрколе тоже весьма неодобрительно относился к наклонностям сына. Правда, мысли о втором сыне были еще мрачнее.