Когда произошло восстание в Петербурге в декабре 1825 г., Якушкины были в Москве, Иван Дмитриевич ожидал ареста. Он все рассказал теще, она поняла его высокие стремления, но осознавала и то, что, имея их, он не должен был жениться на ее дочери, иметь двоих детей. И тем не менее она поняла его и поддержала снова. Якушкина арестовали, приговорили к смертной казни, замененной каторгой в Сибири, куда он прибыл в 1827 г. Через 12 дней после его ареста жена родила второго сына. Его жена с полугодовалым младенцем, двухлетним сыном и матерью успели повидаться с ним на свидании в Петропавловской крепости в Петербурге в 1826 г.
В 1827 г. трижды они приезжали в Ярославль и один раз увидели его при отправлении со ссыльными дальше в Сибирь. В Ярославле он категорически запретил жене пытаться приехать к нему в ссылку, поскольку ее долг – воспитать достойных сыновей (детей в Сибирь брать не разрешали). Якушкина несколько лет просила его разрешить ей приехать в Сибирь, но он не разрешал. Только в 1829 г., когда она была на грани полного отчаяния, только по настоянию тещи он согласился на ее приезд. При помощи влиятельной Н.Н. Шереметевой и ее друзей добились разрешения царя на ее отъезд, но младший сын опасно заболел, ее отъезд отложили, а когда он выздоровел – разрешенный срок отъезда уже прошел.
А.В. Якушкина с детьми была полностью зависимой от матери и брата, жила замкнуто, все силы отдавала детям, писала мужу трогательные письма и тайно вела для него одного свой откровенный дневник (письма ее прочитывали чиновники, а также мать, которая сама дописывала конец каждого послания). Она снова стала добиваться у царя разрешения поехать с детьми к мужу в Сибирь, но ее родственники, графы Шереметевы, стыдившиеся ее мужа – государственного преступника, способствовали отказу в этой просьбе. Муж не писал ей письма, столь полные любви и благодарности, как она ждала и заслуживала. А ее письма к нему были переполнены безграничной любовью. Даже в письмах ощущалось, что мать жены ему духовно ближе, и он очень страдает от отсутствия именно ее общества. Кроме того, прежняя роковая любовь Якушкина к Н.И. Щербатовой не давала ему сил писать жене об эмоциях, на которые он был неспособен. Вероятно, на каком-то этапе Якушкина при ее уме и образованности поняла, что в жизни мужа (при всем его уважении к ней) она среди женщин не занимает первое место. В последние годы ее жизни она уже не писала ему письма в Сибирь, а ее мать писала ему столь ожидаемые им письма из дома.
Музей П.С. Нахимова