Началось великое кочевье: декабристов переводили из Читы в Петровский завод, где к лету 1830 года было закончено строительство тюрьмы.
"Вы себе представить не можете этой тюрьмы, — писала Фонвизина Ивану Александровичу, — этого мрака, этой сырости, этого холода, этих всех неудобств. То-то чудо божие будет, если все останутся здоровы и с
21 ноября 1832 года у них родился сын. Наталья Дмитриевна из каземата уже прочно переехала в свой дом, хотя теперь-то осталось немного времени до отъезда: Михаил Александрович был осужден по четвертому разряду, после сокращений срока, "даруемых" высочайшими манифестами по поводу праздничных событий в императорской семье, ему в 1833 году предстояло отправиться на поселение. Но Фонвизины вынуждены были провести в Петровске еще год — Михаил Александрович тяжело заболел — открылись, уже в который раз, его старые фронтовые раны.
Сын их учился ходить, мать жадно вслушивалась в его лепет, радовалась его первым словам, умилялась, как и всякая мать. Потеряв надежду увидеть оставленных в Москве детей, она всю страсть сердца своего, все надежды связала с малышом.
Они уехали в марте 1834 года вдвоем.
И всю дорогу от Петровска до Енисейска, куда им указано было выйти на поселение, она молилась, и перед глазами ее стоял маленький, заметенный февральским снегом холмик на склоне кладбищенской горы, маленький холмик рядом с могилой Александрины Муравьевой.
"Енисейск, — вспоминает Мария Францева, — довольно большой и красивый город. В нем много церквей, два монастыря, один мужской, другой женский, много каменных домов и прекрасная набережная… Общества почти никакого; круг чиновников тогда был очень неразвитый, грубый. Все удовольствия для них заключались в вине и картах. Бывало, празднуют именины дня три, пьют и кутят целые ночи, уезжают домой на несколько часов, а потом опять возвращаются и кутят. Порядочному человеку, попавшему в их круг, становится невыносимо".
Жизнь в Енисейске была однообразна и скучна. Город к тому времени уж и позабыл, что некогда был столицей гигантского края, едва покинули его чиновники и высокопоставленные власти, как он затих, обмелел, стал типичным уездным городком с пьянством, картами, с редкими танцевальными вечерами, с нередкими убийствами и пожарами, о которых рассуждали по году, а то и по два, находя все новые подробности, насмехаясь над чужим горем, завидуя чужой радости.
К Фонвизиным тянулась молодежь, у них было как бы просторнее, чище. Рассказы немолодого уже генерала о военных операциях, вдохновенные речи "дамы в черном" (так енисейцы прозвали Наталью Дмитриевну за пристрастие к темным одеждам) — все это было необычно, привлекало, заставляло с ужасом глядеть на окружающую действительность.
Наталья Дмитриевна тяжело переносила северный климат, она все время недомогала, нездоровье больно отозвалось в их судьбе, два ребенка родились мертвыми. Они ждали третьего…