Это стало последней каплей, заставившей жителей Кордовы пожаловаться великому инквизитору Диего Десе. В поданной в 1505 году петиции они писали, что доносительство и шпионство приняли в городе неимоверные размеры и что ни один гражданин, как бы он ни был верен и предан религии и церкви, не чувствует себя при Люсеро в безопасности. В то же время низкие и подлые люди пользуются при инквизиционном трибунале почти неограниченным доверием, в особенности когда дело касается слежки за лучшими людьми Кордовы. Деса потребовал предъявить неопровержимые доказательства виновности Люсеро, но горожане сделать это не могли без доступа к документам инквизиции, который им, конечно же, никто не собирался предоставлять. Поэтому кордовцы истолковали ответ Десы как отказ и решили искать правду у королевской власти, но не у Фердинанда, который открыто поддерживал Люсеро, а у его дочери королевы Хуаны и ее мужа герцога Бургундского Филиппа Красивого. Дело в том, что Хуана по завещанию Изабеллы наследовала кастильский трон, который, впрочем, Фердинанд отдавать не собирался.
Филипп Красивый, который не прочь был стать кастильским королем, отнесся к петиции кордовцев весьма серьезно, поскольку увидел способ поднять свою популярность в Кастилии. 30 сентября 1505 года последовал эдикт, подписанный Филиппом и Хуаной, требовавший от Десы прекращения деятельности инквизиции до прибытия их в Кастилию. Одновременно были посланы письма грандам с просьбой оказать помощь в этом деле. Однако все распоряжения Филиппа остались лишь на бумаге. Инквизиция с ними не пожелала считаться и продолжила в Кордове, под руководством Люсеро, действовать с прежним усердием. Мало того, как раз в это время Люсеро задумал продемонстрировать свое могущество и избрал мишенью бывшего духовника королевы Изабеллы гранадского архиепископа Фернандо Талаверу.
Действующий всегда путем убеждения, бескорыстный Талавера был прямой противоположностью жадному интригану Люсеро. Арестовав какую-то женщину по обвинению в том, что она устроила в своем доме синагогу, и подвергнув ее пытке, Люсеро вырвал показания против Талаверы. Суть этих показаний сводилась к тому, что Талавера устраивал в архиепископском дворце собрания, где говорили о скором пришествии на землю Мессии для замены христианства иудейством. Вслед за этим в гранадской церкви, прямо во время богослужения, в присутствии самого Талаверы были схвачены его племянник — настоятель собора и некоторые церковные служители, затем, уже в архиепископском дворце, были арестованы сестра Талаверы, его родственницы и вся его челядь. Одно это уже бросило тень подозрения на архиепископа: раз все ближайшие лица к нему обвиняются в ереси, то и он сам не может быть совершенно чистым. Но так как вся деятельность инквизиции строилась на свидетельских показаниях, то они и стали насильно вырываться у арестованных родственников Талаверы. В письме Фердинанда (9 июня 1506 года) к Франсиско де Рохасу, королевскому послу в Риме, сказано, что основанием к обвинению Талаверы в иудаизме послужили показания его сестры, близких родственников и прислуги. Правдивость этих показаний, по мнению Люсеро, не подлежала никаким сомнениям, и инквизитор, который не мог без специального разрешения папы арестовать архиепископа, просил Фердинанда сделать в Риме через де Рохаса необходимые для этого шаги. Рохасу удалось получить разрешение папы на преследование Талаверы. Но как раз в этот момент власть в Кастилии перешла к Филиппу Красивому, на сочувствие которого так рассчитывали кордовцы.
Филипп не был принципиальным противником инквизиции, он вообще не имел четких принципов. Любитель женщин, живой и легкомысленный красавец Филипп мало заботился о делах государства своей жены Хуаны. Если он вмешивался в дела Кастилии, то только для того, чтобы насолить ненавистному тестю, которому, по-видимому, не мог простить того, что он наделил его ревнивой женой. Уже одно сочувствие Фердинанда инквизиции делало ее нежелательной в глазах Филиппа; кроме того, Филипп не забыл, что инквизиция не обратила внимания на его эдикт; наконец, он понимал, что мараны и другие жертвы инквизиции охотно заплатят ему, если он их освободит от угрозы инквизиционного трибунала. По всем этим причинам жалобы кордовцев на Люсеро нашли у Филиппа сочувственный отклик и были немедленно приняты к рассмотрению. Это представляло опасность для всей деятельности инквизиции в Кастилии, и Супрема поспешила отречься от Люсеро. В письме Супремы капитулу Кордовы говорится, что обвинения, выставленные против Люсеро, невероятны: ведь даже разбойник на большой дороге удовлетворяется кошельком своей жертвы, щадя ее жизнь, Люсеро же похищает у жертвы и жизнь, и деньги, и даже честь. Лишенный покровительства духовной власти Люсеро, казалось, уже погибал; он попытался отправить всех узников инквизиционной тюрьмы, которые были свидетелями его преступлений, на костер, но это ему не удалось. Свобода его висела на волоске, но в этот момент (25 сентября 1506 года) умер Филипп Красивый.