Даже после отправления Сперанского в ссылку его недруги продолжали преследовать его своими наветами. Так, например, уже по удалении Сперанского в правительственных и придворных кругах получила хождение записка на французском языке, в которой утверждалось, что Сперанский — злодей и предатель отечества, что он для захвата власти хотел своими преобразованиями произвести в государстве переворот, что он связан с Наполеоном, войска которого 12 июня перешли реку Неман и продвигаются к Москве. Эта записка была составлена ещё одним недругом Сперанского, Розенкампфом, и доработана Армфельтом Розенкампф служил в комиссии законов, смертельно завидовал талантам Сперанского и за это ненавидел бедного Михаила Михайловича. А Армфельт продолжал вдогонку добивать своего бывшего покровителя. В самый разгар войны, в сентябре 1812 года, поступил ещё один донос на Сперанского, донос о том, что Сперанский в разговоре с архиереем будто бы упомянул, что Наполеон пощадил духовенство в Германии. В результате Александр I распорядился перевести «злодея» в Пермь.
Из Перми Сперанский написал ставшее знаменитым «оправдательное» письмо. В нём он весьма логично и убедительно опроверг все обвинения, выдвинутые в записке, которую император передал ему во время прощания и в которой говорилось, что будто бы Сперанский хотел увеличением налогов вызвать ненависть народа к верховной власти и, таким образом, путём предпринятых финансовых мер расстроить государство перед нашествием наполеоновских войск. Утверждение, что якобы Сперанский дурно отзывался о Государе, Сперанский назвал клеветой, потому что он порицал правительство, а не Государя. Автор письма просил разрешения поселиться в его новгородском имении. Но и это письмо осталось без ответа.
Только после нового письма Сперанского к Государю с просьбой обратить внимание на его судьбу (а это было уже в 1814 году, когда наши войска вступили в Париж) Александр дал дозволение о переезде его в новгородское имение.
В ссылке Сперанский продолжал работать над проектами нововведений, причём, сбитый с толку, не понимал, что Государь навсегда отказался от реформирования, что он передал власть в руки Аракчеева, весьма далёкого от каких-либо либеральных реформ, тем более ограничивающих власть его до самозабвения любимого императора.
В 1816 году Сперанский снова просил императора о помощи и одновременно отправил письмо Аракчееву с просьбой похлопотать о нем перед императором Неизвестно, помог ли ему действительно Аракчеев, но 30 августа 1816 года Александр I издал указ, в котором говорилось, что «по внимательном и строгом рассмотрении поступков» бывшего статс-секретаря Сперанского Он, Государь, «не нашел убедительных причин к подозрениям», а потому, чтобы Сперанский получил возможность «усердною службою очистить себя в полной мере», назначает его пензенским губернатором.
Всё существо Сперанского было нацелено на реформаторство, и он, будучи губернатором Пензы, продолжал составлять проекты и отправлять их Государю. Но Александр в эти годы был уже во власти депрессии и мечтал освободиться от императорства (по крайней мере, он неоднократно высказывался на этот счёт). Сперанский не видел и не понимал этого, он предлагал учредить комитет по выработке реформ, даже советовал в этот комитет пригласить министра финансов Гурьева, нескольких губернаторов и предводителей дворянства и, конечно, себя.
В марте 1818 года, окончательно реабилитировав в своём мнении Сперанского, император назначил его генерал-губернатором Сибири с соответствующим этому званию повышением класса чина (II класс Табели о рангах с обращением «Ваше высокопревосходительство»). И в частном, собственноручно написанном письме к Сперанскому Александр I поясняет, что этим назначением он хочет показать всем, насколько несправедливо Сперанский был оклеветан. Это звучало, как покаяние.