От Филиппа не последовало ни слова в ответ, и Оливарес покинул его спальню. Потерпев поражение, он всё ещё прокручивал в уме другие способы вернуть расположение своего господина или, по крайней мере, отсрочить собственное падение. Сначала граф-герцог написал своей энергичной жене в Лечес, рассказав ей всю правду, ибо там, где он потерпел неудачу, по его мнению, она сможет добиться успеха. Когда письмо мужа дошло до графини, она как раз садилась за стол ужинать, «и при чтении его не только естественный румянец сошёл с её лица, но и румяна, которыми она его покрывала, по дворцовой моде, побледнели и сделали её похожей на труп». Оставив свой ужин нетронутым, страдающая женщина поспешила обратно в Мадрид; и после беседы с мужем попыталась поговорить с королём в коридоре, когда он шёл, как обычно, навестить своих детей. Инес де Суньига нашла Филиппа невозмутимым и молчаливым, после чего, ворвавшись в апартаменты королевы, бросилась к её ногам. Но Изабелла, слишком долго страдавшая от правления Оливареса, холодно ответила:
-То, что сделали Бог, люди и жестокие события, графиня, ни король, ни я не можем исправить.
Затем Оливарес вызвал в Буэн-Ретиро своего племянника, дона Луиса де Аро, который, как он знал, был в большом фаворе у короля. И сказал ему:
-Я был Вам плохим дядей, но это именно я привёз Вас и Вашего отца в Мадрид из Карпио и сделал вас богатыми и могущественными.
После чего стал умолять племянника защищать его перед королём. Аро действительно встретился с королём и открыл ему несколько политических тайн, которые узнал от дяди, однако не стал просить за него. Наоборот, от имени Оливареса стал выпрашивать милости для своего доверенного лица. Филипп IV удовлетворил его просьбу, тоже ни словом не обмолвившись о своём опальном фаворите.
Вскоре новость об отставке министра распространилась по всему Мадриду. Прогулка лжецов была похожа на роящийся улей. Сначала люди не верили и говорили, что всё это просто ещё одна уловка, чтобы выжать из них больше денег под предлогом падения ненавистного Оливареса. Но, мало-помалу, разразился такой неистовый поток ликования, какого Мадрид никогда раньше не видел.
-У нас снова есть король! – кричали в толпе, собравшейся на большой площади перед дворцом.
Но день шёл за днём, а Оливарес всё медлил в тщетной надежде предотвратить свою участь. Он нашёл сотню оправданий для задержки: трудности с транспортировкой, состояние его здоровья и его желание отблагодарить всех, кто хорошо служил ему. У него потребовали ключи, и он прислал их. Однажды он увидел короля на публичной аудиенции и четверть часа беседовал с ним о делах, но те, кто стоял рядом, заметили, что глаза Филиппа ни разу не остановились на бывшем фаворите, который удалился в смущении, со слезами на глазах. Когда король и королева с герцогиней Мантуанской в карете отправились в день Святого Антония, 17 января 1643 года, в монастырь Дескальсас Реалес, люди окружили их с радостными криками:
-Наконец-то наш король - король! Боже, храни короля!
В конце концов, Филиппа IV стала раздражать эта задержка, поскольку он не мог назначить новых офицеров, пока не освободится от Оливареса и его людей, и он решил поохотиться два дня в Эскориале, чтобы в его отсутствие была решена эта проблема. Не успел он уехать, как графиня Оливарес обратилась с очередной слёзной просьбой к королеве, которая тут же её отклонила. На второй день, 20 января 1643 года, когда Филипп возвращался в Мадрид, ему навстречу вышла большая делегация знати, чтобы предоставить себя и своё имущество в распоряжение своего повелителя. До сих пор они стояли в стороне по причинам, известным ему, но теперь, когда Оливарес получил отставку, они были готовы стоять за короля до смерти. Затем они призвали Филиппа обновить состав всех своих советов и сменить административных чиновников.
Войдя во дворец, король повернулся к Луису де Аро и спросил:
-Он удалился?
-Нет, сир, - последовал ответ.
-Он ждёт, что мы применим силу? - проворчал Филипп.
Когда слова короля были переданы Оливаресу, то он, единолично управлявший Испанией на протяжении двадцати двух лет, был вынужден тайно покинуть столицу в сопровождении всего четырёх слуг в карете с плотно задёрнутыми занавесками, опасаясь покушения. Ибо, как говорит один из его биографов, фаворита забили бы камнями до смерти, если бы узнали о его бегстве. Таким образом, «заговор женщин» увенчался успехом.
Только после того, как опальный граф-герцог оставил Мадрид, Филипп IV почувствовал себя в безопасности. Вызвав в свой кабинет в одной из угловых башен старого дворца кардиналов Борху и Спинолу, а также нескольких дворян, выступавших против Оливареса, он обратился к ним с длинной речью. По его словам, он был полон решимости в будущем взять управление страной в свои руки. Граф-герцог служил ему долго, хорошо и ревностно, но его здоровье пошатнулось, и он нуждается в отдыхе. В конце Филипп IV заявил:
-В будущем у меня не будет другого министра, кроме королевы, чью энергию, мудрость и патриотизм я впервые увидел и оценил.