По слухам, этот эпизод (сохранившийся в семейных преданиях графов Милорадовичей) довел старого Безбородку до удара, и начальство Ивана Матвеевича переменилось. Иностранные дела перешли к способному, двуличному, опасному Ростопчину. Но опять удача: вице-канцлером, то есть вторым человеком в ведомстве иностранных дел, сделали 29-летнего Никиту Петровича Панина, с которым Муравьев в наилучших отношениях. Вскоре Иван Матвеевич со всей фамилией уж занимает посольский дом в датской столице, и поговаривают о переводе с повышением в Россию.
Но хорошо ли? Служить в Петербурге опаснее, чем идти на штыки или против картечи. Посол в Англии Семен Воронцов, приглашенный сначала вместо Безбородки возглавлять иностранные сношения, отпихивался всеми правдами и неправдами и, лишь представив себя почти умирающим, сумел остаться только послом (прожил еще более тридцати лет!).
В 1800 году Муравьевы переехали в Петербург. Матвей Иванович вспомнит, что он в том же году видел Павла I: «Встреча эта особенно запечатлелась в его памяти по случайному обстоятельству. Дело было 16-го ноября 1800 года, в день именин Матвея Ивановича; Анна Семеновна возвращалась в карете со своим сыном от обедни; на Литейной они встретили императора, и им пришлось, согласно с существовавшим тогда правилом, выйти для поклона из кареты, несмотря на сырость и грязь. По возвращению домой оказалось, что маленький Матвей потерял в грязи свой башмак. Матвей Иванович нередко вспоминал этот случай в последние годы своей жизни или в день своих именин, или когда заходил разговор о погоде, о поздней или ранней зиме».
Удивительно похожие истории случались тогда с маленькими мальчиками. «Царь… велел снять с меня картуз и пожурил за меня мою няньку». Мальчику в картузе — Александру Сергеевичу Пушкину — едва исполнился год.
С Муравьевых же взималась «плата за вход». Ивану Матвеевичу, действительному статскому советнику, полномочному посланнику в Гамбурге и Копенгагене, трудно было представить Анну Семеновну и детей, со страхом выпрыгивающих в ноябрьскую грязь. Однако тайному советнику и члену коллегии иностранных дел Ивану Муравьеву должно радоваться, что государь не вступил, как это иногда случалось, в получасовую беседу с дамой, присевшей в луже, или с мальчиком без башмака; одна знатная барышня после такого времяпрепровождения быстро скончалась…
Грустные предчувствия тайного советника рассеивает семья, небольшой круг верных собеседников и наивная вера в еще не изменившую фортуну.
Тацит: «Я приступаю к рассказу о временах, исполненных несчастий, изобилующих жестокими битвами, смутами и распрями, о временах, диких и неистовых даже в мирную пору… Время это, однако, не совсем было лишено людей добродетельных. Были матери, которые сопровождали детей, вынужденных бежать из Рима; жены, следовавшие в изгнание за своими мужьями; друзья и близкие, не отступившиеся от опальных; зятья, сохранившие верность попавшему в беду тестю; рабы, чью преданность не могли сломить и пытки; мужи, достойно сносившие несчастья, стойко встречавшие смерть и уходившие из жизни как прославленные герои древности».
«Господин Панин верит правилам чести и здравой политики… Он на первых же порах заявил себя таким, каков он есть, то есть неспособным сгибаться и оберегать свое положение… Он старался делать при случае добро, или — что бывало всего чаще — чтобы ослабить зло». Иван Муравьев пишет в Лондон послу Семену Воронцову, по всей видимости употребляя симпатические чернила. Так же писал Воронцову и Панин: дата, поставленная не в начале, а в конце послания, обозначала, что главное написано «между строк».
Однажды вечером Панину, который вышел из своего дома один, показалось, что за ним следует шпион. Чтобы избавиться от него, Панин вошел в какой-то подвал, слабо освещенный светом немногих ламп, вдруг он чувствует на своем плече чью-то руку, думает, что арестован, но неожиданно узнает великого князя Александра.
Этот эпизод запомнил саксонский посланник со слов самого Панина. Почти сто лет спустя историк Брикнер спрашивал о нем внуков и правнуков вице-канцлера: «По устному преданию, сохранившемуся в семье Паниных, граф Панин, думая, что его преследует шпион, вдруг обернулся и только тогда узнал великого князя, когда последний смертельно испугался его движения, производившего такое впечатление, будто граф вынимает шпагу.
Говорят, что Панин, рассказывая об этом эпизоде, склонен был предполагать, что возникшая впоследствии неприязнь Александра к нему быть может основана была на тяжелом впечатлении, оставленном этой сценой».