Достигнув пика в 1786 году, кривая жизни Калиостро после Лондона пошла вниз, сначала плавно, затем все круче, сделав несколько зигзагов. Друзей, учеников и приверженцев становилось все меньше, доход от целительства и магических сеансов делался все скуднее, а характер магистра — все нетерпимее, заносчивее и несноснее. Былая слава улетучивалась, из ведущих мировых держав и больших блестящих богатых городов, столиц и центров мировой культуры Калиостро вынужден был перебраться в страны менее значимые и в провинциальное захолустье, да и там задерживаться надолго ему не дозволялось властями из-за его скандальной репутации. О его пребывании в Швейцарии и последующих странствиях В. Зотов пишет: "
После бесславного финала в газетных баталиях с Тевено де Морандом Калиостро ухватился за предложение своего верного друга и бессменного кредитора Якоба Саразена переехать к нему в Швейцарию и поселиться неподалеку. Сначала местом жительства для четы Калиостро Саразен предложил Нёвшатель, ближайший к Франции (ее провинции Бургундии), но находящийся под протекторатом Пруссии кантон, где жители преимущественно говорили по-французски. Однако Калиостро эта идея не понравилась как раз из-за близости к Франции: он боялся, что станет легкой мишенью для французской полиции. Тем более что Пруссия отказала Калиостро в своем покровительстве. Поэтому остановились на городе Бьен (современный Биль/Бьен) в кантоне Берн, находящемся под контролем князя-епископа Базельского. Градоначальником в этом расположенном на берегу живописного озера маленьком, живущем размеренной провинциальной жизнью городке, который и поныне является центром производства нескольких самых известных марок славящихся своим точным ходом швейцарских часов, был Александр Вильдермет, брат хорошего друга Саразена, баннерета Якоба Сигизмунда Вильдермета. В Бьене Саразен приобрел для Калиостро и Серафины просторный дом с флигелем, а пока он строился и отделывался, до приезда Серафины из Лондона предоставил магистру несколько комнат в своем доме в Базеле. В одной из комнат для приезжего чародея была оборудована алхимическая лаборатория.
Верный Саразен познакомил Калиостро с друзьями и родственниками, именитыми горожанами Базеля: торговцем Буркхардтом, пастором Тушоном, профессором Брейтингером и своим зятем де Женженом. Есть сведения, что все они стали членами основанной Калиостро в Базеле ложи Египетского масонства, получившей название "Материнская ложа Гельвеции". Египетский антураж в этой ложе был сведен до минимума, а ритуал максимально упрощен. Чинные и спокойные собрания зажиточных бюргеров — членов ложи проходили в Белом доме Якоба Саразена. Здесь Калиостро не пытался поразить воображение братьев эффектными духопризывательными сеансами или магическими процедурами, его новые последователи были людьми гораздо более рассудочными и прагматичными, чем увлекающиеся французы или экспансивные итальянцы, и меньше верили в чудеса.