Трисонг Децен задумал построить храм, символизирующий истинное величие буддизма, но здесь столкнулся с трудностями, которые носили поистине мистический характер, - внезапно возникали землетрясения, наводнения, налетали ветры. Правитель понял, что местные духи, которым поклонялись последователи Бон-по, мешают строительству. Трисонг Децен обратился за помощью к своему индийскому наставнику Пандите Шантаракшите. Но Шантаракшита честно признался, что его сил недостаточно, чтобы одолеть местных духов, и посоветовал пригласить великого мастера Падмасамбхваву из Удияны - древнего государства, располагавшегося на территории современной долины Сват в Пакистане.
Падмасамбхвава, называемый тибетцами «Гуру Ринпоче», или «Драгоценный Учитель», прославился как великий йогин и мастер Тантры. Он сумел своим мастерством усмирить духов и даже поставил их себе на службу. После этого удалось возвести монастырь Самье в виде огромной мандалы. И сегодня великая мандала монастыря Самье символизирует собой закрепление позиций буддизма в Тибете. Правитель же Трисонг Децен, что приказал возвести такой монастырь, почитается тибетцами как воплощение бодхисатвы Маньчжушри.
За основу архитектуры монастыря был взят монастырский комплекс Одантапури, что располагался в Индии в провинции Бихар. Он также представлял собой мандалу, символизирующую строение Вселенной.
Каждый элемент монастыря Самье, равно как и других храмов, подобных ему, имеет символический смысл: посвященный человек может буквально «прочитать» структуру такого монастыря и прогуляться внутри мандалы. Посредине располагается центральный храм - это символ горы Сумеру. Вокруг находятся меньшие храмы, расположившиеся в виде двух концентрических окружностей, которые символизируют океаны и континенты, окружающие великую гору. В первоначальном виде (а Самье был серьезно разрушен в 60- е гг. XX в.) внутри Самье располагалось 108 зданий - по числу великих учеников Будды, а внешняя сторона была представлена 1008 ступами.
В самом центре Самье поставлен огромный столб, представляющий собой центр Вселенной и ту «мировую ось», которая соединяет небо и землю, а также служит мистическим путем перемещения из земного мира в мир духов.