Среди крестьян Смоленская икона Божьей Матери считалась верной охранительницей людей, скота и построек от пожаров и ударов молний во время грозы. И вот эту почитаемую в центре Руси икону (вероятнее всего, одну из ее копий) с приходом оккупантов жителям названных селений приходилось прятать в окрестных непроходимых лесах... Отсюда происходит история одного из названий монастыря.
В 1998 году исполнилось 230 лет со дня рождения Зосимы Верховского, основателя монастыря. Зосима, в миру Захарий, был выходцем из древнего дворянского рода Смоленской губернии – рода, известного по документам еще с 1620 года. Отца его в одних источниках называют воеводою, в других – полковником. На Руси воеводы существовали до 1775 года (в городах), так что возможно и то и другое. Будущий подвижник в молодости служил в лейб-гвардии в Преображенском полку. В 1789 году вышел в отставку в чине поручика и ушел к пустынникам в Рославльские леса. Литературоведы не без основания считают, что Зосима Верховский послужил прототипом иеросхимонаха старца Зосимы, выведенного Федором Михайловичем Достоевским в романе "Братья Карамазовы". Не только имя, но и биографическая канва, идейный багаж во всем объеме религиозного гуманизма, ряд других черт литературного персонажа схожи с жизненным прототипом. Реальный Зосима Верховский умер 24 октября 1833 г. Земли, на которых возник монастырь, принадлежали московской помещице Марии Семеновне Бахметьевой. Зимой 1826 года вместе с 22 верными старцу Зосиме сестрами он бежал из Туринского монастыря и нашел приют и сочувствие у Бахметьевой. Узнав о дальнейших замыслах старца Зосимы, помещица пожертвовала часть своей земли для создания женской общины. Так и возникла Зосимова пустынь. В "Московском журнале" (№3, 1997) был опубликован очерк Л.А.Верховской (правнучатой племянницы старца Зосимы) о Троице-Одигитриевском монастыре. В публикации рассказывалось о благодетелях и спонсорах, от которых зависела в первые годы судьба Зосимовой пустыни.
Пожертвованная Бахметьевой для общины часть земли, была, якобы, оформлена по купчей на имя грузинской царевны Тамары. Сама Мария Семеновна под конец жизни не покидала пустыни. Здесь она и скончалась 13 декабря 1839 года и была похоронена возле алтаря.
Первый Одигитриевский деревянный храм строился, по версии Верховской, как домовая церковь царевны Тамары. На правах общежития обитель была утверждена Синодом в 1841 году. На карте Московской губернии она значится под названием "Интраиская женская обитель".
В дальнейшем в монастыре все строилось на деньги купца 1-й гильдии, почетного гражданина Москвы, мануфактур-советника и кавалера многих орденов Семена Логгиновича Лепешкина. Верховская так и отмечает: "Благодеяния его бесчисленны. Троице-Одигитриевский монастырь Зосимова Пустынь обязан ему своим существованием".
Статус "монастыря-пустыни" обитель получила в 1856 году. Долгие годы игуменствовали в монастыре племянница и внучка старца Зосимы.
Первая каменная постройка пустыни – ограда с башнями. В 1851 году начато строительство, а в 1855 году был освящен каменный Троицкий собор; в 1852 году над западными воротами ограды выстроена каменная церковь, куда был перенесен Одигитриевский престол; в 1857 году – каменная колокольня.
В 1877 году в монастыре еще значилось множество деревянных строений (иначе после революции "рабочие Москвотопа" замерзли бы из-за "отсутствия" дров).
В документах 1910 года отмечены также просфорня, трапезный корпус и архиерейский дом. Сохранившиеся настоятельский и келейные корпуса, относящиеся по стилю к началу XX века, вероятно, выстроены после 1910 года.