Сперанский, поясняет Н. Шильдер, был не воздержан в своих отзывах об Императоре Александре не только в разговорах, но даже и в переписке. В часы, свободные от работы, Сперанский любил поговорить о делах государственных, любил выставлять напоказ свои большие познания, свои предположения и нередко не щадил Государя, как раз в то самое время, когда тот удостаивал его полной своей доверенности и даже приязни. Сперанский имел неосторожность унижать характер, ум и заслуги Александра, он выставлял его человеком ограниченным, равнодушным к пользе отечества, беззаботным, красовавшимся своей фигурой, свиставшим у окна, когда ему докладывали дела. Подобный отзыв был высказан ранее графом Паниным. Он писал гр. C. Р. Воронцову в том смысле, что не ожидает от молодого Императора «ничего хорошего», что он «легкомыслен, любит танцы и более заботится о том, чтобы нравиться женщинам, чем вникать в государственные дела». Этот отзыв явился одной из причин удаления навсегда умнейшего Панина. Несдержанность Сперанского доходила до того, что он позволил себе резкие отзывы об Александре в официальном разговоре с самим министром полиции, генерал-адъютантом Балашовым. «Вы знаете подозрительный характер Государя. Все, что он делает, он делает наполовину. Он слишком слаб, чтобы управлять, и слишком силен, чтобы быть управляемым» Все эти слова и замечания передавались Государю с надлежащими комментариями, возбуждая вражду и обиду в сердце последнего». Несколько мнительный и недоверчивый по природе и в высшей степени самолюбивый и злопамятный Александр чувствовал себя нравственно и лично оскорбленным этим тайным неуважением к нему Сперанского. Доходили до Государя, например, и такие разговоры Сперанского: «Пора нам сделаться русскими», — сказал он однажды. Его собеседник отвечал ему: «Что же, не тебя ли уже в цари русские?» Сперанский же как будто в шутку возразил: «А хотя бы и меня, не меня одного — и вас, мало ли людей русских кроме немцев». Этим он намекал, как говорится в доносе, на республиканское правление. Было также перехвачено письмо, в котором Сперанский, уведомляя своего приятеля об отъезде Государя с целью осмотра вновь возводимых укреплений на западной границе, употребил выражение: наш Вобан, наш Воблан (notre veau blanc — наш белый телятя).
Но указанные обстоятельства — личного характера, а потому другие исследователи присоединяют к ним догадки о причинах политических. Приближались грозные события 1812 года, и Государь решился принести силе обстоятельств великую жертву. Политические соображения побудили его создать такое положение дел, которое, возбудив патриотизм, соединило бы вокруг него все сословия. Для достижения этой цели нельзя было придумать ничего лучшего, как обвинение в измене против государя и отечества, приписав все эти козни М. Сперанскому. Государь хорошо знал неосновательность этого обвинения, но все-таки пожертвовал Сперанским. В лице его он хотел покарать иллюзии своей молодости. Когда 17 марта 1812 года Сперанского арестовали и сослали на жительство в Нижний-Новгород, то эта новость была принята в обществе как первая победа над французами. Сперанского открыто стали называть вольнодумцем, революционером, мартинистом, иллюминатом. Его обвиняли в том, что он попирал ногами прошедшее.
Так смотрело тогда общество на дело, не зная того, что говорилось во дворце. В минуту доверчивой беседы, Государь сказал Новосильцеву: «Вы думаете, что он (Сперанский) изменник? — нисколько он, в сущности, виновен только относительно меня одного, — виновен тем, что отплатил за мое доверие и мою дружбу самой черной, самой гнусной неблагодарностью». «Вина Сперанского относилась лично ко мне», — сказал Император в разговоре с графом Закревским.