Замечательный русский реформатор Сперанский, бывший для многих своих современников символом либерализма и вольномыслия, сыграл в судьбе Ивана Пестеля роковую роль. Они были давними знакомыми и даже приятелями — это видно, в частности, из дошедшей до нас личной переписки Сперанского. Правда, после опалы Сперанского эти отношения прекратились. В 1812 году Сперанский был обвинен в государственной измене и сослан — сначала в Новгород, а затем в Пермь.
Назначение в Сибирь было для Сперанского концом опалы. Будучи не менее Пестеля опытным в придворных интригах, он повел ревизию осторожно — опасался, что у его предшественника по генерал-губернаторству «могут найтись влиятельные заступники». Сам Иван Борисович писал впоследствии: в Сибири Сперанский первое время «хотел поступать кротко и особенно без притеснений».
Такой ход дела не понравился «врагам» Ивана Борисовича в высшем свете. И уже в середине 1820 года в своем письме Аракчееву Сперанский утверждал, что если раньше не хотел «говорить ничего худого» об Иване Борисовиче, то теперь не может «пожертвовать правдою». Согласно же мемуарам самого Ивана Пестеля, Сперанский, «забыв и совесть, и правила свои, решился распоряжаться так, чтобы найти как можно более виновных, а мое правление представить в дурном виде».
В ходе ревизии новый генерал-губернатор настойчиво стал искать доказательства виновности генерал-губернатора бывшего: организовал три следственные комиссии по вопросу о взяточничестве и казнокрадстве в крае. Но комиссии эти, выявив множество мелких чиновников-взяточников, так и не смогли доказать причастность Ивана Борисовича к подобным злоупотреблениям. Несмотря на это, Сперанский писал в Петербург: «Не верьте бедности моего предместника».
Конечно, Иван Пестель не имел законодательных и реформаторских талантов Сперанского, однако как администратор-практик Сперанский вряд ли превосходил «предместника». Во многом Сперанский вынужден был пойти по стопам Пестеля: в частности, он довел до конца начатую Пестелем борьбу с самостоятельностью купечества. Кроме того, весьма сомнительно, чтобы жизнь в этой окраине России, каторжном крае, оторванном тысячами километров от столицы, вообще можно было полностью «исправить» умелым генерал-губернаторским управлением.
Сам Сперанский вполне это сознавал. «Как вы могли подумать, что я пущусь управлять Сибирью, коею никто и никогда управить не мог?» — честно признавался он в частном письме. А в официальной бумаге, адресованной министру просвещения и духовных дел князю Голицыну, он выражался еще красноречивее: «По необходимости должно решиться оставлять много зла без исправления и утешаться только тем, что оно замечено, обнаружено и со временем, при лучших правилах и с другими людьми, может быть исправлено». Через три года после назначения в Сибирь Сперанский оставил свой пост. Морской офицер Стогов, снова заехавший в Сибирь, но теперь уже после деятельности там Сперанского, писал, что нашел в Иркутске «убийства, грабежи, шайки разбойников… Села, деревни по наружности очень обеднели; если чего и не забудете, то у вас украдут все, что можно; дороги, мосты очень дурны».
Пока в Сибири шла ревизия, Иван Пестель оставался сенатором и членом Государственного совета. Считая себя невиновным во взяточничестве и казнокрадстве, он полагал, что полная отставка и отъезд из Петербурга будут означать признание им своей вины. При этом он, очевидно, надеялся, что после ревизии его карьера вновь поправится. Однако этого уже не произошло: в 1821 году Сперанский возвратился из Сибири в Петербург, был милостиво принят царем и назначен в Государственный совет. Царским указом от 28 июля 1821 года «для рассмотрения отчета, представленного сибирским генерал-губернатором по обозрению сибирских губерний», был создан специальный Сибирский комитет, состоявший в основном из врагов Ивана Пестеля. Сам бывший генерал-губернатор в состав этого комитета приглашен не был.
22 января 1822 года последовала окончательная отставка тайного советника Пестеля. «По совести моей могу сказать, что после моей отставки нога моя не была в доме какого-нибудь министра или другого значительного человека. Я слишком живо чувствовал свою невинность и всю несправедливость подобного со мной обращения, чтобы с кем-нибудь объясниться на этот счет. Охотно бы просил я средств к оправданию, но кто бы меня судил? Те же сильные люди, которые так много трудились, чтобы меня свергнуть. Мне бы опять пришлось перенести столько оскорблений, что они сократили бы мою жизнь, которая была еще необходима моему семейству». «Да не считают меня только жена и дети мои виновным, и да унесу я с собою в могилу удостоверение их уважения и любви!» — писал Пестель-старший в мемуарах.