Мария Николаевна скончалась, когда ей было всего 39 лет. Смерть жены явилась новым мучительным испытанием для Михаила Бестужева. Потрясенный случившимся, он замкнулся, ходил отрешенный, совершенно не занимался домашними делами. Хозяйство последнего селенгинского декабриста поочередно вели его лучшие друзья: казачий офицер Игумнов, купец Лушников и лекарь Кельберг. Осиротевший, похоронив брата, сына, жену, друга Торсона и его мать, проводив Екатерину Петровну и своих сестер в Россию, Михаил Бестужев тоже решил навсегда выехать в Москву, где уже училась его дочь Софья. Он продал свою усадьбу, разыграл в лотерею или подарил селенгинцам мебель.
Итак, 4 декабря 1851 года умер К. П. Торсон; 19 августа 1852 погребли его мать, Шарлотту Карловну; 15 мая 1855 года в своем маленьком флигеле скончался Н. А. Бестужев; 21 ноября 1863 года Михаил Бестужев похоронил своего первенца, сына Колю, а 7 декабря 1866 года — и жену Марию Николаевну.
Старожилы вспоминают, что Михаил Александрович сразу же после смерти дорогих сердцу людей воздвиг на их могилах скромные кирпичные памятники. Судя по сохранившимся карандашным эскизам, М. А. Бестужев взял за основу в прошлом распространенные в Селенгинске надгробные сооружения в виде каменного постамента с кирпичной (или каменной) плитой-навершием, часть из которых до сих пор сохранилась на кладбищах старого и нового города. То, что памятники по проекту М. А. Бестужева были построены, подтверждает сохранявшееся до 1975 года надмогильное сооружение Шарлотте Карловне Торсон. Как и на эскизах декабриста, это была имитация из кирпича и раствора гранитной плиты на высоком постаменте, в которую позднее была вмонтирована чугунная плита с надписью.
После отъезда М. А. Бестужева из Селенгинска все заботы о могилах декабристов и их родных взяли на себя друзья-ученики А. М. Лушников, Б. В. Белозеров и сын Н. А. Бестужева А. Д. Старцев, давшие клятву сохранять память о Селенгинской колонии «государственных преступников». По их заказу на Петровском заводе отлили из чугуна монументальные памятники в виде колонн, увенчанных бронзовыми крестами. Над могилами Н. М. Бестужева и его матери установлены большие чугунные кресты, а для Ш. К. Торсон отлили надгробную плиту (в 1975 году она была заменена мраморной). Они же заказали и установили аналогичные памятники на могилах близких друзей и знакомых декабристов: супругов Всеволодовых, Лушниковых, Седовых и других.
В сооружении мемориала деятельное участие принимал также сосед декабристов по Нижней деревне бурят Анай Унганов. Известно, что он вытесал гранитные плиты для постаментов.
Посадский погост обнесли высоким каменным забором и чугунной решетчатой дверью. Рядом была выстроена и небольшая часовенка, ныне не сохранившаяся.
Местное население, особенно бурятские жители Нижней деревни, долго хранили память о своих необыкновенных соседях. Сначала ученики, а потом и их потомки регулярно приносили на погост жертвенные приношения, чтобы, по древним шаманским и ламаистским обычаям, «отблагодарить» души умерших, как это они всегда делали по отношению к своим божествам, духам местности. В примечаниях Евгения Якушкина за 1901 год к дневникам декабриста И. И. Пущина есть такие любопытные строки: «В Бурятии до сей поры, я точно знаю, о нем (о Н. А. Бестужеве. —