Вот когда вспомнили про подарок Наполеона! (Любопытная деталь. Во время опалы Сперанский был сослан в Пермь. Живя там в крайне стесненных материальных условиях, он был вынужден продать подарок Наполеона — табакерку, но портрет извлек и сохранил. Он очень дорожил этим подарком и вообще был чрезвычайно высокого мнения о Бонапарте.) Тут же стали распространяться стишки про то, как Сперанский «за понюшку табака Отечество продал», «антихристов прескверный лик ему иконой служит» и тому подобные опусы. Истинная причина, конечно, была не в этом. Большинство людей в России понятия не имели ни о масонских историях, ни о планах всеобъемлющих реформ Сперанского. Но он поднял налоги и тем навлек на себя поистине всенародную ненависть. Ключевский пишет: «Возвышение налогов и было главной причиной народного ропота против Сперанского, чем успели воспользоваться его враги из высшего общества». Однако помимо клеветы и наветов в отставке Сперанского был объективный момент. Сперанского никто не любил, он был крайне непопулярен. Общественное мнение без всяких оснований видело в нем причины всех государственных неудач, социальных зол, бедности, бесправия, невыгодных договоров с Наполеоном и т. д. Нужен был «козел отпущения», виновник всех бед. Сперанский на эту роль подходил идеально. Перед надвигавшейся войной с Наполеоном Александр сделал сильный ход для консолидации общества.
Ославить изменником — тяжкое обвинение во время войны. Сперанский писал Александру, просил объективного расследования и справедливого суда, но ответа не получил. Братья-масоны ничего не сделали для его реабилитации, а иные даже ожесточенно участвовали в травле (Розенкампф, Армфельдт). А вот «душитель свободы» Аракчеев откликнулся на зов о помощи. Он всегда был расположен к Сперанскому, их сближала страсть к порядку и стремление все регламентировать. По ходатайству Аракчеева Сперанскому вернули чин тайного советника и выплатили жалованье за годы ссылки. Затем Александр и вовсе сменил гнев на милость: Сперанский был назначен губернатором в Пензу, а потом в Сибирь.
Столкнувшись в Сибири с жестокой действительностью и с реальными людьми, Сперанский начал понимать правоту своих оппонентов. Он сильно изменил свое мнение о русских людях, которые когда-то казались ему куда лучше европейцев. В декабре 1820 года, т. е. уже из Сибири, Сперанский писал графу В.П. Кочубею в еще более скептическом тоне относительно государственных преобразований: «Все чувствуют трудности управления как в средоточии, так и в краях его. К сему присовокупляется недостаток людей. Тут корень зла; о сем прежде всего должно бы было помыслить тем юным законодателям, которые, мечтая о конституциях, думают, что это новоизобретенная какая-то машина, которая может идти сама собой везде, где ее пустят». Не спорит ли он тут с самим собой, со своими юношескими иллюзиями?
В марте 1821 года Сперанский вернулся в Петербург, но уже совершенно иным человеком. Это не был защитник полного преобразования государственного строя, сознающий свою силу и резко высказывающий свое мнение; это был «уклончивый сановник, не гнушающийся льстивого угодничества». Он все более сближался с Аракчеевым и даже напечатал в 1825 году статью с похвалами военным поселениям. Вряд ли это были чиновные игры, поселения ему действительно нравились, ведь они были воплощением вожделенного порядка. После того как выработанные им проекты преобразований в Сибири получили силу закона, Сперанский все реже виделся с царем и понял, что ему уже не вернуть прежнего влияния. Некоторым утешением ему послужило назначение в 1821 году членом Государственного совета. В этой должности он и пребывал до 1838 года.