Никто не мог повлиять на кардинала Ипполито, а уж тем более его отец. Невероятное сочетание гуманистических идей, духовного образования и гипертрофированного чувства собственного достоинства придавало его внешности вид холодной торжественности. Его улыбка не только не вызывала доверия, а наоборот, внушала безотчетный страх. Эрколе стремился убедить сына больше обращаться к требнику, а не к оружию. Ипполито с удовольствием снял бы сутану, надел кожаный жилет и отправился бы с воинственно настроенными придворными, объятый страстью к разрушению. Он уничтожил бы всю дичь, которую смог бы найти, и, если бы этого ему показалось мало, убил бы домашних гусей и кур. Ипполито отвечал на письма отца то с показной набожностью, то раздраженно, но всегда с оскорбительным высокомерием. Разногласия и неразбериха, окружавшие Ипполито, предвещали будущие беды. Группа придворных, которая придерживалась умеренных взглядов, уже давно задавалась вопросом: кто скажет, что произойдет, когда не станет «бедного старика» (имелся в виду герцог Эрколе)?
Два младших брата Ипполито, дон Ферранте и дон Джулио (никому и в голову не приходило вспоминать о самом младшем из братьев – Сиджизмондо), нетерпимые и своевольные, но не такие способные, как Ипполито. Правда, они не выказывали никакого желания перестроить мир и вызывали меньше опасений. Дон Джулио, незаконнорожденный сын Изабеллы Ардунской, обаятельный красавец, сибарит и страстный любитель красивой одежды. Он знал чарующую силу своих глаз, доставшихся ему от матери-неаполитанки. «Все женщины напускают на себя важность, а сами только и думают, как бы заставить меня танцевать с ними»; «Герцогиня [Лукреция] вообще не танцевала, пока я не пригласил ее на танец, зажигательный танец…» Я красив, я неотразим, я уникален, я, я, я… Вот портрет дона Джулио. Был ли он в действительности столь чудовищно тщеславен или его слова были своего рода шутливым хвастовством, являвшимся неотъемлемой частью разговоров, ведущихся между братьями? В письме Ипполито дон Джулио говорит о себе как о сыне и брате неотесанных деревенщин (в семействе д'Эсте любили добродушно подшучивать друг над другом). Дон Ферранте, соперничая с братом, ухаживал подряд за всеми женщинами. С политической точки зрения братья были полными ничтожествами. Дон Джулио занял оборонительную позицию по отношению к отцу, мечтавшему о духовной карьере для сына. Дона Ферранте якобы интересовало военное искусство, но он всегда старался найти «непыльную работенку». И конечно, оба были недовольны положением дел.
В конце 1504 года герцог сильно сдал, и стало ясно, что близится его конец. В Англию, где в то время находился дон Альфонсо, были спешно отправлены курьеры. Члены семейства д'Эсте и главные прелаты герцогства тут же переходят в распоряжение Лукреции «на тот случай, если умрет старый герцог». Под звуки клавесина Эрколе д'Эсте спокойно прощается с жизнью. Он рассуждает о значении музыки, слушает музыкальные композиции XIV века, отбивая такт рукой. Он рассуждает о дочере Изабелле (в Ферраре было замечено, что маркиза Мантуанская пыталась найти оправдание, почему не сидела у кровати отца). Но вот Эрколе внимательно оглядывает наследника дона Альфонсо, который успел-таки приехать вовремя и теперь стоял рядом с отцом, членами семейства, продолжателями рода, которые, похоже, ладили друг с другом, и тихо угасает.
Колокола Феррары созывали совет старейшин для назначения нового герцога, как того требовали государственные дела. Пока монахи читали молитвы над телом отца, Альфонсо отдавал необходимые распоряжения. В белом плаще, подбитом белкой, в белом берете а lа France он принял старейшин и множество других людей в большом зале. При всеобщем одобрении собравшихся последовала передача меча и золотого скипетра. Затем вновь избранный герцог с братом кардиналом, доном Ферранте и доном Джулио вышли к народу и были встречены шумными возгласами одобрения. В тот день стоял убийственный холод. Шел снег, дул северный ветер, но, когда Альфонсо верхом проехал через весь город, он обратил внимание, что снег убирается, улицы запружены оживленными людьми и энтузиазм его подданных, казалось, согревает холодный воздух. Альфонсо принимал приветственные крики с безмятежным спокойствием. У кафедрального собора он спешился и вошел внутрь. Торжественная месса закончилась, и Тито Веспасиано Строцци, чей почтенный возраст придавал особую торжественность церемонии, короновал герцога. В середине дня получивший одобрение людей и божье согласие Альфонсо вышел из собора через двери, исполненные в романском стиле и охраняемые двумя львами, и предстал перед толпой.