2 ноября на утреннем докладе император спросил фон Палена о Панине. О содержании их беседы и последующих событиях И. М. Муравьев-Апостол так писал Воронцову в Лондон: «Генерал Пален, чьи связи с графом Паниным не остались не замеченными сувереном, вошел в кабинет императора, и первым вопросом его величества было: видел ли Пален Панина и весел ли тот? «Я видел Панина, — отвечал военный губернатор, — но я его не нашел веселым. Ваше величество может быть уверенным, что тому, кто имел несчастье навлечь на себя вашу немилость, не придет в голову веселиться». — «Он римлянин, — сказал император. — Ему все равно».
«Пален пытается, не раскрываясь, защитить союзника. Царь находит три недостатка у Панина: педантичность, систематичность, методичность». Пален: «Не разбираюсь в политике: дело солдата — драться. Но слыхал, что метод и система совсем небесполезны в делах!» Император перебил Палена и спросил, намерен ли Панин теперь давать бал. «Я не знаю, — отвечал губернатор, — но мне кажется, что Панин не мечтает ни танцевать, ни видеть танцующих». «Ему все равно, — воскликнул император, — он римлянин».
Отставка Панина последовала в два приема: 15 ноября было объявлено: «…вице-канцлеру Панину присутствовать в Правительствующем сенате, в иностранной коллегии его заменит С. А. Колычев». А в начале декабря «Панину велено было ехать в деревню».
Павел сначала согласился на просьбу Панина «задержаться здесь в течение трех или четырех месяцев, пока не родит его жена», Софья Панина, однако Ростопчин находит еще какой-то повод для усиления опалы. А. Муравьев-Апостол сообщал Воронцову, что Панин «с отвращением» отнесся к предложению (вероятно, Палена) просить о помощи фаворитку Гагарину.
В конце декабря Н. П. Панин покинул столицу и выехал в свое смоленское имение Дугино. Софье Владимировне Паниной было разрешено поселиться в Петровско-Разумовском, близ Москвы.
Но на этом дело с Паниным не закончилось. Ростопчин не оставляет без внимания опального вице-канцлера и, пользуясь своим положением начальника почт, перлюстрирует его переписку. И вот однажды в руки Ростопчина попадает весьма любопытное послание за подписью «Р», очень похожей на панинскую роспись. В письме была фраза: «Я видел нашего Цинцинната в его поместье» — и говорилось о тетке Панина. Решив, что Панин посетил своего опального приятеля фельдмаршала князя Репнина, а строки письма, посвященные «тетке Панина», являются шифром, Ростопчин докладывает Павлу, что Панин не унимается».
В этот же день генерал-губернатору Салтыкову в Москву отправляется собственноручное уведомление императора: «Открыл я, граф Иван Петрович, переписку гр. Панина, в которой титулует он кн. Репнина Цинцинатусом (знатное лицо, живущее в уединении от суеты. — Авт.), пишет о некоторой мнимой тетке своей (которой у него, однако ж, здесь никакой нет), которая одна только из всех нас на свете душу и сердце только и имеет, и тому подобные глупости. А как из сего я вижу, что он все тот же, то и прошу мне его сократить, отослав подале, да отвечать, чтоб он вперед ни языком, ни пером не врал. Прочтите ему сие и исполните все».
Панина вызвали, но он объявил, что письмо не его. Гнев царя, искусно разжигаемый Ростопчиным, разрастается, и 7 февраля в Москву отправляется фельдъегерь с «собственноручным повелением»: «В улику того и тому, о чем и с кем дело было, посылаю к вам копию с перлюстрированных Панина писем, которыми извольте его уличить. И как я уже дал вам и без того над ним волю, то и поступите уже по заслугам и так, как со лжецом и обманщиком…»
Оказалось, что письмо, наделавшее столько шума, написано было чиновником министерства иностранных дел П. И. Приклонским к Муравьеву-Апостолу — о посещении им Панина в Петровско-Разумовском (Цинцинатуса). Приклонский был близок к Тутолминым (тетке Панина), Орловым и к Муравьеву. Благодаря последнему и Кутайсову, конечно не без участия Палена, об этом становится известно императору. Он приходит в ярость: «Ростопчин чудовище! Он хочет делать из меня орудие своей личной мести, ну так я же и постараюсь, чтобы она обрушилась на нем самом!»
За клевету следует расплата — Ростопчин был отстранен и выслан в свое подмосковное имение Вороново. В официальном сообщении от 20 февраля было сказано: «Ростопчин по прошению уволен от всех дел, причем кн. Куракину повелено вступить опять в должность по званию вице-канцлера, сверх того генералу от кавалерии фон дер Палену присутствовать в коллегии иностранных дел с сохранением должности санкт-петербургского военного губернатора и начальствовать над почтовой частью». 16 февраля Панину разрешается въезд в обе столицы. Ростопчин проиграл себя и своего императора — последнее серьезное препятствие на пути заговора было разрушено.
«Пален коварно подготовлял гибель императора, — писала осведомленная В. Н. Головина, — надеясь удалить Ростопчина, представлявшего серьезное препятствие для жестокого преступления, задуманного им, он решился сам сделать последнюю попытку, чтобы вооружить императора против Ростопчина».