Джон Престолл был вновь обвинён в вызывании злых духов. Поскольку в октябре 1562 г. оспа чуть не свела Елизавету в могилу, это делало его действия ещё более зловещими. Престолла бросили в Тауэр и заклеймили как изменника. Опасаясь обвинять самого Сесила, Престолл обрушился на Ди как на одного из его клиентов. Родственник Престолла Джон Фокс в сочинении «Акты и монументы» 1563 г. раструбил об участии Ди в допросе Боннером архидиакона Винчестера в 1555 г. Эти нападки ассоциировали незаконную магию с католическим духовенством. Приводились два письма, в которых Ди прямо назывался чародеем (conjuror). В политическом, религиозном и культурном контексте жизни Англии такое обвинение ставило Ди вне закона и мейнстрима общественного мнения. В 1563 г. парламент принял Акт о колдовстве, который вновь объявил «волшебство и вызывание злых духов» преступлением. Проводя этот закон, Сесил навешивал на католических священников и изменников дополнительное обвинение в колдовстве. В такой атмосфере после выхода «Актов и монументов» пополз слух о Ди как о колдуне. Относительная бедность короны в 1560‑е годы, неурегулированный вопрос престолонаследия и религиозный раскол лишь обостряли чувствительность иерархического общества в отношении вопросов репутации и доброго имени. Это делало клевету весьма острым оружием, и в борьбе с соперниками при дворе ею пользовались. В труде «Общий и исключительный меморандум» 1577 г. Ди будет просить королеву не давать хода лживым слухам о том, будто он «великий чародей» или даже «главный чародей (Arch–Conjuror) всего этого королевства». Так Ди признал, что его репутация колдуна началась с гадания для Елизаветы в 1555 г. и допроса архидиакона.
Воспользовавшись обвинением Ди в работе Фокса, враги Ди состряпали документы, якобы доказывавшие, что он водится с чертями. Так, некий Винсент Мёрфин сочинил подложное анонимное письмо с обвинением Ди в колдовстве. Длительная и успешная кампания клеветы Мёрфина против Ди отвлекла внимание общественности от Престолла и продемонстрировала лицемерие елизаветинского режима в его нападках на католическую магию на суде над братьями Поупами и в принятии Акта о колдовстве. Пока Ди — католический священник, участник репрессий при Марии, друг Боннера и чародей — пользовался покровительством двора, связи с ним бросали тень на режим. Нападки Мёрфина отчасти объясняют неспособность Ди добиться назначений на важные посты, так как его соперники в борьбе за патронаж использовали репутацию «главного чародея». Когда в 1564 г. Ди прислал из Антверпена экземпляры своей «Монады», Елизавете пришлось защищать его от нападок на это сочинение как форму колдовства. Вообще королева поощряла философские и математические штудии Ди, хотя «Монада» её озадачила.
Ответом Ди на неудачи в поисках покровительства и противостоянии слухам при дворе стало его решение в 1565 г. жениться. Как принявшему сан католическому священнику оно далось ему нелегко: если бы в Англию вернулся католицизм, Ди ждало бы суровое наказание, какому подверглись женатые священники при Марии. Его женой стала уважаемая матрона из Сити, вдова купца Кэтрин Констебл. Для того чтобы появляться с Ди при дворе, ей недоставало манер и происхождения, но её приданым был дом в Мальборо и земли в Уилтшире. Умерла она в 1575 г. бездетной.
Между тем карьера Ди не двигалась. Поддержка королевы не могла оградить его от клеветы Мёрфина. Более того, притязания шотландской королевы Марии на трон Англии способствовали обострению соперничества среди оккультистов. Так, протестантский проповедник Уильям Хэррисон был убеждён, что Мария занимается колдовством и спешно вышла замуж за лорда Дарнли в 1565 г. отчасти потому, что «ведьмы и колдуны» вновь обещали, что Елизавета скоро умрёт. В 1569 г. притязания Марии привели к самому глубокому политическому кризису елизаветинского правления. Один из возникших вокруг Марии заговоров побудил Мёрфина и Престолла активизировать кампанию против Ди. Тот защищался, настаивая, что занимается неколдовскими формами оккультной мудрости. Однако до конца избавиться от репутации чародея Ди так и не удалось. Одной из причин было то, что он не смог стать придворным алхимиком.