Восставшие захватили дворец и почтительно препроводили вице-королеву Маргариту в монастырь, в то время как остальные испанцы были заключены в крепость. Сопротивления не было, потому что у Испании не хватало сил подавить восстание, и хотя до конца правления Филипп IV периодически на границе велись войны за восстановление его власти над страной, Португалия больше никогда не теряла своей независимости.
Недовольство министром быстро росло.
Однажды молодой придворный по имени Луханес бросился к ногам Филиппа в королевской часовне и закричал:
-Ваше Величество, остерегайтесь графа-герцога! Он хочет Вас погубить!
Его поспешно увезли, а услужливые друзья Оливареса, пожимая плечами, и говорили:
-Бедняга сошёл с ума!
На следующий день Луханес таинственным образом умер в заключении, и молва утверждала, что его отравили. Однако подобные возгласы Филипп IV продолжал слышать и на улицах Мадрида. А когда он однажды собирался на охоту на волков, раздались крики:
-Охотьтесь на французов, сир! Это наши худшие волки!
Всего через несколько недель после получения дурных вестей из Барселоны и Лиссабона большая часть Буэн-Ретиро сгорела дотла во время великолепного карнавала в феврале 1641 года, что дало новый повод для жалоб на Оливареса.
-Это место было проклято, - говорили ворчуны.
Невосполнимую потерю драгоценных произведений искусства в результате пожара пришлось компенсировать «добровольными» пожертвованиями аналогичных вещей из частных коллекций. На восстановление дворца у депутатов кортесов потребовали 60 000 дукатов, 20 000 - у муниципалитета Мадрида, 30 000 - у Совета Кастилии и 10 000 - у Военного совета, в то время как солдатам на поле боя не платили жалованье и они голодали.
Говорили, что в другой раз король был очарован прекрасной герцогиней Альбуркерке,
женой одного из его самых верных соратников. В один прекрасный день, когда Филипп IV играл в карты во дворце, он притворился, что забыл об одном срочном деле, и попросил герцога Альбуркерке занять его место за столом, после чего вышел из зала в сопровождении Оливареса.Альбукерке, зная, что король положил глаз на его жену, также притворился, что испытывает ужасные боли, и выбежал из дворца. Король и Оливарес уже были в его доме, когда внезапное появление хозяина заставило их спрятаться на конюшне.
Герцог с тростью в руке погнался за ними, крича:
-Остановите вора! Они пришли украсть моих лошадей!
После чего начал избивать их, пользуясь темнотой конюшни и запретив слугам зажигать факелы. Тогда граф-герцог, опасаясь за здоровье монарха, решил признаться, что тот, кого он избивал, был их повелителем. В ответ Альбукерке ударил его ещё сильнее:
-Это верх наглости, что воры используют имя Его Величества! Я прикажу отвести их во дворец, чтобы король приказал их повесить!
В конце концов, Филиппу IV удалось сбежать, хотя из-за ран ему пришлось провести некоторое время в уединении.
-На другой день утром герцог Альбукерке получил предписание немедленно отправиться в Бразилию, - пишет Анри де Кок. - Его жена была назначена
В конце 1641 года из Фландрии пришла ещё одна весть, которая снова повергла короля в уныние. Кардинал-инфант Фернандо, чьё хрупкое здоровье было подорвано постоянными кампаниями и ослаблено лихорадкой, умер в Брюсселе. Это событие сделало продолжение войны в Нидерландах более безнадёжным, чем когда-либо.
Тем временем высокомерный Оливарес совершил одно деяние, за которое даже его собственные родственники никогда не простили его. Как известно, единственная дочь графа-герцога умерла вскоре после своего замужества, и он практически усыновил своего племянника дона Луиса де Аро, сына маркиза дель Карпио, в качестве своего наследника. Но внезапно при дворе появился молодой человек лет двадцати восьми, до того времени известный под другим именем (Хулио) и выдававший себя за мелкого правительственного чиновника в Мадриде. Теперь его звали Энрике Фелипе де Гусман, и он был представлен королю как сын Оливареса. Хотя этот бастард не отличался ни воспитанием, ни красивой внешностью, и его образ жизни был далёк от идеального, министр был без ума от него. Следуя своим собственным наклонностям, его сын женился на даме из хорошей семьи в Севилье, но Оливарес имел на него более высокие виды и, приложив огромные и дорогостоящие усилия, добился признания брака сына недействительным. Но как бы граф-герцог не благоволил к своему бастарду и как бы щедро Филипп не наделял его по просьбе своего фаворита различными званиями, деньгами и должностями, ни знать, ни даже родственники графа-герцога не считали его равным себе. Всеобщее недовольство министром ещё больше усилилось, когда Оливарес добился от коннетабля Кастилии, герцога Фриаса, руки его дочери для Энрике Фелипе де Гусмана. По поводу чего один из поэтов с улицы Майор написал следующую эпиграмму:
Soy de la Casa de Velasco,
Y de nada hago asco.
Вы видите здесь великого вождя Веласко,
Для которого нет ничего слишком мерзкого.