Ссылка самым роковым образом сказалась на жизни и здоровье родственников Романовых. Князь Б. К. Черкасский в тюрьме заболел камчугом (род проказы) и скончался. Вскоре эта же болезнь была обнаружена и у его жены, Марфы Никитичны. Князь И. В. Сицкий замерз по пути в Астрахань, куда был сослан; его жена Евфимия Никитична умерла от переживаний в монастыре.
У Ксении Ивановны от обрушившихся на нее бед и от разлуки с детьми и мужем начались нервные приступы, мучившие ее потом всю жизнь.
Следует отметить, что простые люди с большим сочувствием отнеслись к опальным. В Заонежье толвуйский священник Ермолай Герасимов и его жена ухаживали за ссыльной боярыней, передавали ей весточки от детей и мужа, хотя это и было строжайше запрещено. Но они понимали, что только добрые известия помогут Ксении — Марфе выжить в тяжелейших условиях.
Монахи Антониево-Сийского монастыря сделали жизнь Филарета вполне сносной. У него была отдельная келья, при нем жил слуга, который доставлял ссыльному еду и обслуживал его. Запрещалось лишь посещать церковную службу, чтобы нс иметь контактов с посторонними. Царь Борис боялся. что Романовы с помощью своих сторонников организуют против него заговор, поэтому требовал, чтобы они были изолированы от внешнего мира. Однако, как показало время, все его усилия оказались тщетными. Филарет был хорошо информирован о ситуации в стране и знал даже о самозванческой авантюре Лжедмитрия, не без основания полагая, что тот вызволит его из монастыря.
Сведения о гибели братьев Романовых и их родственников будоражили московскую общественность. Всем становилось ясно, что Б. Ф. Годунов не является продолжателем славных дел милостивого и справедливого царя Федора Ивановича, а хочет быть наследником яростного и жестокого царя Ивана Грозного. Эти настроения дошли до двора, и царь Борис решил смягчить участь опальных. Женщинам и детям позволили покинуть тюрьму и переселиться в село Клин Юрьевского уезда под надзор приставов. Там Ксения — Марфа наконец-то смогла обнять своих ненаглядных деток, Татьяну и Михаила, которые за годы невзгод выросли и исхудали. Даже их одежда превратилась в лохмотья, как у нищих.
Пролив немало слез при встрече, Ксения — Марфа стала требовать от приставов для детей побольше продуктов: молока, мяса, яиц и овощей. Но те побоялись сами расширить скудный рацион поднадзорных и обо всем сообщили царю. На этот раз Б. Ф. Годунов решил быть милостивым и повелел не только выдавать нужное количество продуктов, но и купить для всех материю на одежду. Сшить же ее женщины должны были сами.
Получив холсты и сукна для белья и верхней одежды, Ксения — Марфа с Марфой Никитичной и Анастасией тут же взялись за дело. Несмотря на знатное происхождение, они были искусными мастерицами. Вскоре все облачились во вполне приличные одеяния, украшенные не жемчугом и золотой канителью, а искусной вышивкой цветными нитками.
Совместная жизнь в деревенской глуши сдружила узников и надзирателей. Особенно добры были к опальным боярыням В. М. Хлопов и его жена. А дети все вместе зимой катались на салазках, лепили снеговиков и играли в снежки. Летом ходили в лес за грибами и ягодами, купались в реке, водили хороводы, забавлялись лаптой и салками. Крепкие и здоровые Хлоповы во всем опережали хрупкую Татьяну и робкого и неуклюжего Михаила. Но на них никто не обижался. Напротив, Михаил с восхищением наблюдал за бойкой хохотушкой Марией, племянницей В. М. Хлопова, у которой всегда был румянен во всю щеку, задорно блестели глаза и весь облик излучал искристое веселье. Эти детские впечатления навсегда западут в его душу и сердце и скажутся потом на выборе невесты.
Со временем улучшилась жизнь и Филарета. Ему обновили за счет казны обветшавшую одежду и позволили участвовать в церковной службе. Тайком монахи проводили к нему посетителей, которые рассказывали о важных событиях в стране: вторжении войск Лжедмитрия, вялых сражениях с ним армии царя и, наконец, о смерти в апреле 1605 года ненавистного царя Бориса. Опальный монах чувствовал, что скоро его жизнь переменится к лучшему.
Действительно, воцарившийся летом Лжедмитрий, изображая истинного царского сына, вернул из ссылки и приблизил к себе всех своих мнимых родственников, в том числе и Романовых. Филарет вновь оказался в Москве и через некоторое время был рукоположен в Ростовские митрополиты. Его брат Иван Никитич получил боярский чин и вошел в состав правительства самозванца. Вернуться в столицу было позволено и Ксении — Марфе с детьми и родственницами. Хотя она осталась монахинией, но, как опекунша малолетних детей, поселилась с ними в доме на Варварке. Все имения Романовых, ранее конфискованные, были возвращены и отданы под ее управление. Но вернуться к прежней счастливой жизни знатной и богатой боярыни Ксения — Марфа уже не могла. Ее семья была навсегда разрушена, бывший муж отбыл в свою епархию и уже не имел права проживать с ней в одном доме, дети так и не смогли оправиться от невзгод и росли довольно хилыми, собственное здоровье было подорвано.