Свыше пяти лет Раевский находился в одиночном заключении, его бросали из крепости в крепость, над ним произвели четыре военно-судных дела, его судили в трех разных комиссиях. В 1826 году, находясь в крепости Замостье и давая ответы судьям, Раевский с гордостью говорил:. «Если патриотизм преступление — я преступник! Пусть члены суда подпишут мне самый ужасный приговор — я подпишу приговор… Под именем патриотизма подразумеваю я любовь к своему отечеству, основанную на своих обязанностях!»[13] 15 октября 1827 года он спокойно выслушал приговор Николая I: «Лиша чинов, заслуженных им… и дворянского достоинства, удалить, как вредного в обществе человека, в Сибирь на поселение»[14].
Сосланный на поселение в село Олонки Иркутской губернии, Раевский свыше сорока лет прожил в Сибири. В конце 1829 года он женился на местной олонской крестьянке Евдокии Моисеевне Середкиной. Жизнь ссыльного декабриста протекала в напряженной борьбе за существование, в постоянном труде: он занимался хлебопашеством, огородничеством, разводил парники, где выращивал арбузы и дыни, купил мельницу, завел лошадей, работал от крестьянского общества на поставке чая и вина.
В Олонках Раевский открыл постоянную школу, в которой обучались крестьянские дети. В одном из писем к Г. С. Батенькову он назвал себя «олонским крестьянином». Из декабристов Раевский, пожалуй, ближе всего сошелся с простым народом. Оглядываясь на пройденный путь, Раевский писал в письме к Батенькову от 25 июля 1861 года: «Я помню, когда я был призван в комитет 1826 года. После моих ответов на вопросы великий князь Михаил Павлович спросил у меня: „Где вы учились?“ Я ответил: „В Московском Унив<ерситетском> благородном пансионе“. — „Вот что я говорил… эти университеты. Эти пансионы!“ Я вспыхнул. Мне было только 30 лет. „Ваше Вы<сочест>во, Пугачев не учился ни в пансионе, ни в университете…“ Настоящие события доказывают, что для правительства всегда Пугачев опаснее Пестеля и Рылеева»[15].
Раевский до самых последних дней своей жизни сохранил кипучую энергию и постоянный интерес к насущным политическим проблемам. В 60-х годах он обрушивался на «куликообразных либералов». В письме к тому же Батенькову от 6 октября 1860 года Раевский писал о современном состоянии России: «Относительно настоящего и будущности России, я с сожалением смотрю на все. Сначала я с жадностью читал журнальные статьи, но наконец уразумел, что все эти вопросы, гласность, советы, стремления, новые принципы, прогресс, даже комитеты — игра в меледу. Государство, где существуют привилегированные и исключительные касты и личности выше законов, где частицы власти суть сила и произвол без контроля и ответственности, где законы практикуются только над сословием или стадом людей, доведенных до скотоподобия, там не гомеопатические средства необходимы. В наше время освобождение крестьян было ближе к делу. Прежде всего следует крепостному рабу возвратить человеческие права, а потом толковать о поземельном праве или о наделении землею. Человек, не имеющий права быть свидетелем против господина, у которого жена и дети, и сам он, и все его имущество принадлежит по праву помещику, человек, которого господин имеет право отдать в солдаты, сослать в Сибирь, даже засечь без посторонних свидетелей, этот человек — человек ли? Конечно, он доведен уже до бессмыслия, скотоподобия, одеревенения и не чувствует своего несчастного и безвыходного положения. Тем более что положение казенных, или государственных, крестьян ничем не лучше в настоящее время крепостного состояния»[16]. Таким образом, Раевский остается сторонником революционных мер, когда говорит о бесполезности «гомеопатических средств», и романтиком, когда уповает на «человеческие права», которые следует возвратить крестьянину в первую очередь, а поземельное право, «наделение крестьян землею» представляется ему уже делом вторым. Верность прежним взглядам и убеждениям, сознание того, что декабристы находились на правильном пути, характерны для Раевского. В письме старому кишиневскому приятелю А. Ф. Вельтману Раевский писал (3 февраля 1864 года): «Мы по непременному закону оставляем в наследство идею для руководства новому поколению, и эта идея растет, будет и должна расти, и никакие препятствия не сожмут ее»[17].