Выйдя в 1818 году в отставку, Иван Дмитриевич решил заняться одним из мучивших его вопросов – судьбой собственных крепостных крестьян. Он был небогатым дворянином, ему принадлежали всего 120 душ на разоренной наполеоновским нашествием Смоленщине. Еще в 1816-м он попытался освободить крестьян в своем имении Жуково Рославльского уезда. «В то время, – вспоминал он впоследствии, – я не очень понимал, как это можно устроить, ни того, что из этого выйдет; но, имея полное убеждение, что крепостное состояние – мерзость, я был проникнут чувством прямой моей обязанности освободить крестьян, от меня зависящих». В 1819 году, снова отправившись в имение с желанием облегчить участь своих крестьян, он уменьшил величину барской запашки и отменил ряд поборов.
Занявшись «крестьянским вопросом», Якушкин руководствовался в первую очередь этическими мотивами, полагая личную свободу человека естественным правом любого своего соотечественника. Но задумывался и об экономической эффективности, стараясь сделать труд крестьян рентабельным. Он выработал целую программу, которая оставалась одним из самых радикальных и последовательных вариантов решения крестьянского вопроса до появления развернутых программ Северного и Южного обществ декабристов.
На основе действующего Указа о вольных хлебопашцах 1803 года Якушкин предложил освободить крестьян, но, в отличие от царского указа, не за выкуп, а безвозмездно. Кроме того, он считал необходимым предоставить им «их имущество, строение и землю, находящуюся под усадьбами, огородами и выгонами». Всю остальную землю помещик оставлял за собой, предлагая половину из нее обрабатывать вольнонаемным трудом, а другую – отдать в аренду своим же крестьянам. В проект входило и предложение крестьянской общине выкупать пахотную землю.
Переписка Якушкина с Министерством внутренних дел и самим министром О.П. Козодавлевым, личной встречи с которым он с большим трудом добился, не принесла никаких результатов. Да и собственные крестьяне не смогли понять добрых намерений барина. На их вопрос, чьей же будет земля в результате их освобождения, Иван Дмитриевич объяснял, что пашенная земля останется за ним. И крестьяне отвечали: «Ну так, батюшка, оставайся все по-старому: мы будем – ваши, а земля – наша». Однако натура Якушкина не могла примириться с существованием бесправия – вся его дальнейшая деятельность была направлена на разрушение крепостничества и борьбу за свободу.
В 1824–1825 годах И.Д. Якушкин, проживая попеременно в Москве и Жукове, всерьез увлекся философскими проблемами, собрав вокруг себя единомышленников. В этот «кружок метафизиков» входили И.А. Фонвизин, И.Д. Щербатов, П.Х. Граббе, Н.И. Тургенев, М.И. Муравьев-Апостол. Особые отношения сложились с П.Я. Чаадаевым, активная философская переписка с которым продолжалась многие годы.
Неожиданная смерть императора Александра в декабре 1825 года резко меняет обстановку. Вместе с М.А. Фонвизиным Якушкин замышляет поднять московское восстание в поддержку Петербургу. Между тем в Москву прибывает генерал-адъютант Комаровский с решительным приказом привести к присяге Москву в Успенском соборе Кремля. Иван Дмитриевич демонстративно отказывается присягать новому императору, 10 января 1826 года его берут под арест.
Следствие и суд над декабристами стали беспримерным политическим процессом в России. При почти полном отсутствии серьезных навыков конспирации, обремененные условностями дворянской чести и морали подследственные были беззащитны и доверчивы, чем безгранично пользовались высокопоставленные следователи во главе с императором Николаем. Лишь протоиерей Казанского собора П.Н. Мысловский, принимавший исповедь у заключенных, единственный из официального окружения обратился к «государственным преступникам» с искренним словом сочувствия и сострадания. Он растрогал даже несгибаемого Пестеля, просившего «благословить его в последнюю дорогу». Якушкин доверился Мысловскому и вел через него переписку с родными; от него же он узнал об участи своих товарищей.
12 июля 1826 года Иван Дмитриевич наконец впервые увидел своих друзей в Верховном уголовном суде. Капитан Якушкин отнесен был к 1 разряду виновных и был сначала приговорен к смертной казни отсечением головы. Затем последовала замена смертной казни двадцатилетней каторгой и ссылкой на поселение. Позже срок каторги был сокращен до пятнадцати лет. После объявления приговора Якушкина с товарищами подвергли гражданской казни – о его голову была сломана шпага. Он отправился в Финляндию, в крепость Роченсальм, а оттуда на остров Форт-Слава. В дороге, в 1827 году, был получен приказ о переводе его в Сибирь. В Ярославле, закованный в кандалы, Иван Дмитриевич увиделся последний раз с женой и своими малолетними сыновьями.