В октябре 1827 года И.В. Поджио доставили в крепость, где уже содержались А. Юшневский, В. Дивов, В. Кюхельбекер и другие. Тюремная азбука позволяла им перестукиваться, но потом стук прекратился, и И.В. Поджио остался один, не зная даже, что некоторое время в Шлиссельбурге находился и его брат Александр. Комендант крепости доносил в III Отделение, что узник «неотступно просит позволения писать к матери и к жене своей единственно о своем здоровье, воспитании детей своих и некоторых домашних распоряжениях, не объявляя отнюдь о месте пребывания своего». Ему отвечали, что хотя государственным преступникам, осужденным в каторжные работы, и дозволено получать письма, самим им писать запрещено. Лишь в январе 1829 года И.В. Поджио разрешили изредка писать жене и матери, но только о своем здоровье и домашних делах.
А Мария Андреевна еще в марте 1828 года обращалась к всесильному А.Х. Бенкендорфу с письменной просьбой открыть ей место пребывания мужа, так как она хочет отправиться к нему. В апреле ей было объявлено, что «еще не имеется положительного сведения о месте его пребывания». Истину знал отец, но он молчал и все пытался уговорить дочь отказаться от мужа. В декабре 1830 года Мария Андреевна вновь подает в III Отделение прошение, в котором называет себя «вдовой живого мужа», напоминает о своем ребенке, который родился «через несколько недель после ужасного события, которое отняло у него его несчастного отца». А «несчастный отец» в это время томился в Шлиссельбурге, был лишен прогулок, ничего не знал о происходящих в мире событиях. Княгиня М.Н. Волконская, встретившая И.В. Поджио уже на поселении, рассказывала, что во все годы заключения в крепости «он видел только своего тюремщика, да изредка коменданта. Его оставляли в полном неведении всего, что происходило за стенами тюрьмы; его никогда не выводили на воздух, и, когда он спрашивал у часового: «Какой у нас день?» – ему отвечали: «Не могу знать». Таким образом, он не слышал о польском восстании, об июльской революции, о войнах с Персией и Турцией, ни даже о холере. Его часовой умер от нее у двери, а он ничего не подозревал об эпидемии… Сырость в его тюрьме была такой, что все его платье пропитывалось ею, табак покрывался плесенью; его здоровье настолько пострадало, что у него выпали все зубы».
Тюремный врач заметил расстройство здоровья И.В. Поджио, но заявил узнику, что средств вылечить его «при спертом воздухе» тюрьмы нет, и стал уговаривать терпеливо переносить все тяготы заключения. Однажды заключенный увидел лунный свет, падавший на наружную стену крепости. Чтобы полюбоваться им, И.В. Поджио влез на окно и с большим усилием просунул голову в маленькую форточку. Вдруг он услышал шаги и, зная о страшных наказаниях за нарушение тюремного режима, попытался быстро втянуть голову обратно, но сразу не смог, и только после долгих и тяжелых усилий, разодрав уши и изранив лицо и шею, сумел сделать это. Но с тех пор подобных попыток больше не делал…
По случаю рождения великого князя Михаила Николаевича в декабре 1832 года был издан высочайший манифест, которым несколько уменьшались сроки каторги ссыльным декабристам. И Магдалена Иосифовна Поджио (мать братьев-декабристов) написала в III Отделение, прося указать ей местопребывание сына. Шеф жандармов А.Х. Бенкендорф ответил, что «в числе освобожденных от работ и назначенных на поселение в Сибири ваш сын… не состоит и в положении его не последовало никакой перемены, почему и посылаемые вами к нему письма, деньги и разные вещи могут быть адресованы по-прежнему в III Отделение собственной Его Величества канцелярии».
В июле 1834 года истек срок каторжных работ, назначенных И.В. Поджио, и узник вышел из крепости. Ему было всего 42 года, но выглядел он уже дряхлым стариком, однако ни болезни, ни долгие годы тюрьмы не ослабили его любви к жене. Отправляясь в ссылку в Сибирь, он был уверен, что найдет ее там; если нет, то немедленно выпишет к себе. Местом поселения И.В. Поджио назначили село Усть-Кудинское, располагавшееся примерно в 30 километрах от Иркутска. Это была небольшая деревенька, вытянутая в одну улицу, состоявшую из 50 домов. Поначалу он жил в маленьком помещении, потом выстроил себе дом, который отличался от домов местных жителей только тем, что был обшит тесом.
В 1839 году вышел на поселение его брат А.В. Поджио, и они стали жить вместе. Иосиф Викторович все еще ждал приезда жены, хотя до друзей уже дошли вести о ее втором браке. Но они не решались сообщить ему об этом…
За вольнодумный образ мыслей