Что касается некогда могущественного Оливареса, который ушёл в безвестность с разбитым сердцем, мало кто был достаточно великодушен, чтобы сказать ему доброе слово. Даже коннетабль Кастилии, который так охотно выдал свою дочь замуж за его сына, теперь стал утверждать, что именно первый брак молодого Гусмана был действительным. Когда же ему указали, что это обесчестит его чадо, коннетабль ответил:
-Я бы предпочёл видеть свою дочь распутной и незамужней, чем честной женщиной и супругой Гусмана.
Следует всё-таки заметить, что огромное состояние, приносившее Оливаресу 400 000 дукатов в год, было накоплено им не только для личного удовлетворения, как это было в случае с Лермой. Он жил тихо и скромно, отдавая всё своё время работе, и тратил свои доходы, в основном, на развлечения для короля.
Вскоре из Лечеса, с разрешения своего повелителя, граф-герцог удалился в Торо, подальше от двора. Но даже там, лишённый своей должности и власти, он был объектом зависти и ненависти своих врагов. Не раз за два года, последовавшие за его отставкой, король, казалось, был склонен призвать назад своего старого министра. Поэтому многие дворяне, особенно арагонские, убеждали короля казнить человека, который предал его доверие, но Филипп не был ни жестоким, ни несправедливым и, естественно, не соглашался на это. Правда, однажды враги Оливареса почти преуспели, ибо в ответ на обращение бывшего министра, который снова предложил свои услуги, Филипп IV написал из Сарагосы:
-Короче говоря, граф, я должен царствовать, а мой сын должен быть коронован королём Арагона. Но это будет сделать трудно, если только я не отдам твою голову моим подданным, которые требуют этого единогласно, и, боюсь, я больше не могу им возражать.
Однако Оливарес сохранил свою голову на плечах, поскольку письмо короля свело его с ума, и он умер 22 июля 1645 года, всего через два с половиной года после своей опалы. Испанцам казалось, что с падением графа-герцога Испания снова станет могущественной и богатой, и как прежде будет диктовать Европе свою волю. Филипп IV торжественно поклялся отказаться от распутства и отныне посвятить себя благополучию своего народа. С этого момента для Изабеллы де Бурбон начался короткий период счастья. Филипп IV, наконец, заметил, что его жена не только красива, умна и хорошо воспитана, но и способна править вместе с ним.
Клан Гусманов был отстранён от власти, поэт Кеведо вышел из своей темницы, а советы снова взяли на себя ответственность за вверенные им дела. Активное и разумное влияние королевы проявлялось повсюду, и на какое-то время в больное тело государства словно вдохнули новую жизнь.
В течение пяти месяцев, прошедших с тех пор, как он отправил Оливареса в отставку, король изо всех сил пытался преодолеть свою лень, но, в конце концов, большинство дел было передано им дону Луису де Аро, племяннику Оливареса.
Несколькими месяцами ранее умер Ришельё, и личное соперничество между двумя министрами, которое так сильно усугубило войну, исчезло. Затем, в мае 1643 года, умер король Людовик XIII, и сестра Филиппа, Анна Австрийская, стала регентшей Франции при своем пятилетнем сыне Людовике XIV. Будучи всегда истинной дочерью Испании и, сожалея о войне между страной, где она родилась, и своей новой родиной, Анна, как надеялись, должна была найти способ положить конец разногласиям.
Таким образом, весной 1643 года, казалось, снова появилась надежда на мир, какими бы унизительными ни были его условия. Но снова испанская гордость встала на пути, и после долгого обсуждения новые советники Филиппа решили, что честь требует изгнания французов с испанской земли, прежде чем будут начаты какие-либо переговоры о мире с ними. С бесконечным трудом удалось собрать деньги и людей, чтобы король мог снова выступить против французов, которые уже были в нескольких милях от Сарагосы. Но прежде, чем он смог отправиться туда, из Фландрии пришли известия о сокрушительном поражении, которое испанцы потерпели от французов 18 мая 1643 года в битве при Рокруа. С осознанием того, что несчастья преследует его со всех сторон, поскольку португальцы совершали набеги на Кастилию, а французы угрожали столице Арагона, Филипп IV покинул Мадрид в начале июня 1643 года, позволив перед этим Бальтазару Карлосу обзавестись собственным двором. Изабелла же возобновила свою регентскую деятельность, несмотря на то, что была в положении и эта её последняя беременность протекала очень тяжело.
Тем временем король ехал довольно медленно, и 10 июля, приближаясь к арагонскому пограничному городу Таразона, остановился в скромном монастыре Непорочного Зачатия в Агреде, который основала одна дама, чья слава о святости и мудрости уже приобрела широкую известность, хотя ей было всего сорок лет. Мария Коронель (или Мария де Хесус де Агреда) написала несколько мистических религиозных книг, и монастырь под её управлением был известен своим строгим уставом в эпоху, когда большинство обителей приобрели славу вертепов разврата.