Император Павел I

30 сентября 1801 года Панин подает прошение об отставке и получает трехгодичный отпуск по болезни. В обществе строятся всевозможные догадки о внезапном удалении этого незаурядного человека, так близко стоявшего к трону. Говорили о расхождениях во внешней политике, о недовольстве его самостоятельностью в делах, об интригах Воронцова и о многом другом.

Сам Панин объясняет перемену отношения Александра приездом Лагарпа, кознями недоброжелателей и конечно же письмом к Воронцову, которое стало известно государю. Он надеется, что вскоре его вновь призовут на службу. Никто не мог и подумать тогда, что настоящая опала начнется в 1804 году и продлится целых 33 года, до самой кончины Панина.

О настоящей причине опалы знали немногие. В письме к Воронцову от 6 октября Кочубей приоткрывает завесу этой тайны: «Государь, насколько я заметил, имеет что-то против Панина из-за революции, которая возвела его на престол. Правда, Панин, как вам известно, первым говорил с ним о регентстве. Но теперь у государя явные угрызения совести и он считает преступлением то, что он, государь, думал о регентстве. Между тем ни один разумный человек не мог бы дать ему лучшего совета».

Адам Чарторыйский, поспешивший в Россию, так описывает свою первую встречу с Александром: «Он позвал меня в свой кабинет и сказал мне: «Если бы вы были здесь, то всего этого не случилось бы; если бы я имел вас около себя, то я не позволил бы увлечь себя таким образом». Затем он рассказал о смерти отца, выразил крайнюю степень огорчения и самые невыразимые угрызения совести… Это согласие было вырвано у него с величайшим трудом и после самых торжественных обещаний, что императору Павлу не будет причинено никакого зла… Император Александр рассказал мне, что первый, говоривший с ним об этом, был Панин и что Александр никогда не мог простить ему этого. Панин не отрицал этого, но доказывал, что этим он оказал услугу своему отечеству и имел право гордиться этим».

Александр пытается убедить себя и близких, что главным виновником катастрофы был Панин. Уже в конце мая по этому поводу между ними произошел какой-то неприятный разговор. Сохранилось письмо Панина к императору, в котором он, в частности, писал: «…То, что Ваше Величество сказали мне вчера вечером относительно события, которое возвело вас на престол, повергло меня в величайшую скорбь. Если Ваше Величество считает меня причиной акта, который, как вы полагаете, пятнает вашу славу, то мое присутствие должно быть для вас невыносимо; я готов избавить вас от него и покинуть все (кроме жены и детей), чтобы в добровольном изгнании оплакивать утрату доверия со стороны государя, за которого я охотно отдал бы жизнь. Одного слова, одного движения Вашего Величества было бы достаточно для этого, но я взял бы с собой в могилу убеждение, что я послужил моему отечеству, решившись прежде всех других развернуть перед вами потрясающую картину опасностей, грозящих погубить нашу страну…»

Поверив в виновность Панина, Александр тяготится его присутствием и ставит вопрос о его отставке перед негласным комитетом. Чарторыйский сообщает:

«…Шла речь об увольнении графа Панина. Государь сильно желал избавиться от него; Панин был ему в тягость, был ему ненавистен и возбуждал его подозрения. Государь не знал хорошенько, как удалить его. Дело рассматривалось серьезно и обстоятельно. Наконец, было решено заменить Панина графом Кочубеем. Все согласились, что пока Панин может оставаться в Петербурге. До последнего момента государь и виду не подал Панину и не мог поступить иначе, так желал избежать неприятных сцен. Панин покорился своей судьбе и отступил. Все время, пока он еще был в Петербурге, он был окружен шпионами, которые непрестанно следили за ним. Государь по несколько раз в день получал от тайной полиции сведения о том, что Панин целый день делал, где он был, с кем говорил на улице, сколько часов провел в том или другом доме, кто посещает его и, если возможно, о чем говорили с ним. Эти сообщения, читавшиеся в тайном комитете, были составлены тем таинственным стилем, который так любит тайная полиция, чтобы придать важность себе и интерес к совершенно ничтожным вещам. В сущности, эти сообщения были совершенно бессодержательны; но государь был в сильном беспокойстве, его мучило присутствие Панина, он постоянно предполагал, что Панин составляет изменнические планы, и не знал покоя, ни душевного мира, пока Панин не уехал. Так как граф видел, что за ним постоянно наблюдают сыщики, и заметил, что вид его невыносим для государя, то он решился покинуть Петербург».