Впоследствии, уже в 1850-е годы, эти рассказы обобщил в своей книге «Былое и думы» блестящий революционный публицист Александр Герцен. Герцен писал: «Отец знаменитого Пестеля, казненного Николаем, был настоящий римский проконсул, да еще из самых яростных. Он завел открытый, систематической грабеж во всем крае, отрезанном его лазутчиками от России. Ни одно письмо не переходило границы нераспечатанное, и горе человеку, который осмелился бы написать что-нибудь о его управлении. Он купцов первой гильдии держал по году в тюрьме, в цепях, он их пытал». «Пестель почти всегда жил в Петербурге. Вспомните, что и проконсулы живали обыкновенно в Риме. Он своим присутствием и связями, а более всего дележом добычи предупреждал всякие неприятные слухи и дрязги».
Конечно, оценки эти не могут быть вовсе безосновательными. Однако в них скрыто немало противоречий. Иван Пестель безвыездно жил в Петербурге — поэтому он вряд ли мог лично пытать сибирских купцов первой гильдии. Никаких особых лазутчиков у генерал-губернатора не было ни в Сибири, ни в Петербурге: жалобы и доносы на него в столице получали постоянно. Император был прекрасно осведомлен об этих доносах — но держал «сибирского сатрапа» в его должности целых 13 лет, вполне мирясь с тем, что Пестель-старший не покидает столицу. И вряд ли Иван Борисович мог делиться добычей со своими покровителями, которых, собственно, было двое: знаменитый временщик граф Аракчеев и сам Александр I.
Для подведомственной ему Сибири Иван Борисович сделал немало хорошего. Морской офицер Стогов, оказавшийся по делам службы в Иркутске, тогдашней столице Сибири, в годы правления Пестеля, вспоминал: «В Иркутской губернии не было ни грабежей, ни воровства; я сотни примеров слышал: проезжий, забывший в доме крестьянина кошелек, часы, бумаги, непременно был догоняем и получал забытое. Дороги, мосты были превосходны, деревни чисты; судя по наружности домов, крестьяне были зажиточны; скота, лошадей много; пятнадцать, двадцать троек стояли при въезде в деревню, платили четыре копейки за версту. Иркутск был очень опрятный город, и много хороших домов. О преступлениях в городе не было слышно».
И в почтовом деле, и в Сибири Иван Пестель был равен самому себе. Документы свидетельствуют: взяток генерал-губернатор не брал, патологическим злодеем не был, но воплощением гуманизма тоже не являлся. Свою задачу он видел в том, чтобы верно служить императору, блюсти государственный интерес. Богатые местные купцы и промышленники не желали платить налогов в казну, и борьба с ними была главным занятием генерал-губернатора. Естественно, позиция Ивана Пестеля натолкнулась на сопротивление купечества — и он жестоко это сопротивление подавлял. Столь же беспощадно он относился и к пытавшимся противоречить ему гражданским и военным чиновникам. Для многих своих современников Иван Пестель был живым воплощением власти: холодным, неприступным, за государственным интересом не видевшим конкретного человека.
Безраздельное господство Ивана Борисовича в Сибири продолжалось до конца 1818 года. В ноябре этого года Комитет министров принял решение о том, что пребывание Пестеля на генерал-губернаторском посту «оказывается уже несовместным» с государственной необходимостью, в марте следующего года последовал указ о его отставке. В Сибири началась сенатская ревизия, которую проводил новый генерал-губернатор Михаил Сперанский.
Причины этой отставки следует искать вовсе не в жестокости, взяточничестве и казнокрадстве Пестеля. О том, что происходит в Сибири, в столице знали: жалобы сибиряков на Ивана Борисовича постоянно рассматривались в Сенате и Комитете министров. Управленческий стиль, которого придерживался Пестель, не был чем-то из ряда вон выходящим: подобными методами действовали многие российские губернаторы.
Падение генерал-губернатора было вызвано сложным клубком придворных интриг, не последнюю роль в которых сыграл граф Аракчеев, сперва покровитель, а впоследствии недоброжелатель Пестеля-старшего.
К 1817 году Иван Пестель стал приобретать некоторую самостоятельность в политических придворных интригах. Пошатнулось положение при дворе министра финансов Гурьева — и Пестеля, к тому времени уже члена Государственного совета, стали прочить на эту должность. Слухи о своем назначении в министры финансов сам Иван Борисович считал не вовсе безосновательными. Тогда же Пестелю был предложен пост министра полиции, от которого, правда, он отказался. Именно в конце 1817 года отношения между Аракчеевым и Пестелем испортились. Аракчеев настоял на отставке своего бывшего протеже и на назначении на его место опального Сперанского. При этом Аракчееву пришлось убеждать в необходимости этой смены расположенного к Пестелю императора.