В Петербурге ходили слухи, что император молился с квакером Греллэ. Филипп Вигель в «Записках» упоминал, что Александр Голицын «посещал богослужение различных раскольничьих сект, находившихся в Петербурге». Расцвет религиозной свободы при дворе Александра I шокировал некоторых видных сановников и церковных иерархов, которые составили оппозицию религиозному либерализму и его главному штабу — Библейскому обществу.
Смертельный удар обществу нанес один из любимцев императора Алексей Аракчеев. Дела Библейского общества Аракчеева волновали мало, его мотивом стала конкуренция с Александром Голицыным за внимание государя. Аракчеев видел, что у Библейского общества, возглавляемого Голицыным, много противников, а сама деятельность библеистов уязвима для разрушительной критики с консервативных верноподданнических позиций. Этим он и воспользовался, взяв в союзники влиятельного архимандрита Фотия. Последнего ничего не подозревавший Голицын считал сторонником и другом.
23 и 24 апреля 1824 года Голицын встречался с Фотием и во время этих визитов стал жертвой политической провокации. Фотий обратился к Голицыну с такой речью: «Умоляю тебя, Господа ради: останови ты книги, кои в течение твоего министерства изданы против церкви, власти царской и противу всякой святыни и в коих ясно возвещается революция». Голицын отвергнул все обвинения Фотия, который так описал реакцию министра народного просвещения: «С омерзением и злобой отвратился князь, побежал вон без благословения, хлопнув дверями».
Уже 25 апреля Фотий, при посредничестве Аракчеева, получил продолжительную аудиенцию у императора. Монаршее впечатление от фотиевского разоблачения «революционных» замыслов Голицына было сильным. Александр I не мог не поверить Фотию, ведь тот был преданным другом главы Библейского общества, к тому же архимандрит говорил царю, что якобы на протяжении двух лет пытался доказать Голицыну ошибочность его действий и призывал к исправлению содеянного, но безуспешно.
15 мая 1824 года князь Александр Голицын был отставлен с должности министра духовных дел и народного просвещения. После падения предводителя и потери покровительства императора деятельность Российского Библейского общества стала сворачиваться. Окончательно оно было ликвидировано при Николае I в 1826 году.
Донские духоносцы
Летом 1824 года Алексей Аракчеев получил послание из Новочеркасска, в котором сообщалось о мистическом учении, получившем некоторое распространение на Дону. Адепты учения проповедовали пришествие трех «апокалипсических ангелов», возвестивших новую религию. Первый ангел — Библейское общество; второй — император Александр I; третий — князь Голицын. Согласно духовным произведениям этой религиозной группы, Александр I должен был «древнюю Христову церковь яко любодейцу истребить».
Во главе этого религиозного течения, получившего название духоносцев, стоял донской казак есаул Евлампий Кательников. Он был уроженцем Верхне-Курмоярской станицы. Его отец Никифор исправлял должность станичного писаря и владел грамотой. Во многом поэтому Евлампий Кательников получил хорошее домашнее образование и впоследствии стал известным донским интеллектуалом, автором исторического сочинения об истории и повседневности родной станицы. Кательников принял участие и в войнах, которые вела Российская империя в конце XVIII — первой четверти XIX века, в том числе в заграничном походе русской армии 1813–1814 годов.
Как отметил биограф Кательникова историк Николай Мининков, «перед есаулом открывались определенные карьерные перспективы». Евлампий Никифорович стал казаком известным: при штабе легендарного атамана Матвея Платова он исполнял обязанности письмоводителя. Казака знали и в штабе фельдмаршала Михаила Барклая де Толли. Но Кательников не стал продвигаться по службе и вернулся в родную Верхне-Курмоярскую станицу.