До этого времени главного священника храма Дайтокудзи всегда назначал император, но Иэясу, первый
сегунправительства Токугава, пытаясь распространить свою власть на все сферы жизни, пожелал делать это сам. Император Гомидзуно в гневе отрекся от престола. Вскоре после этого Иэясу умер, так и не добившись своего, но второй
сегун,Хидэтада, продолжил его дело. Хидэтада предъявил столь высокие требования к священникам, что монахи Дайтокудзи выступили с протестом, за что Такуан и еще пятнадцать священников были лишены званий и сосланы на север Японии. Но уважение к Такуану было настолько велико, что ему разрешили поселиться в имении
даймёпровинции Каминояма (ныне провинция Ямагара). Такуан прожил здесь с 1629 до 1632 года.В ссылке Такуан продолжал общаться с людьми, которые приходили к нему со всех уголков страны. Вдохновленные изучением
дзэнпод руководством Такуана, его последователи Есиро-но-ками и Мацумото Садаеси вскоре основали, соответственно, школу Дзитокуки-рю поединка на копьях и школу Исси-рю поединка на мечах. Кроме того, живя в замке Каминояма, Такуан заложил на его территории парк. К этому же времени относится и его эссе об искусстве создания парков в дзэнском стиле.После смерти Хидэтада в 1632 году к власти пришел третий
сегун,Иэмицу, который пожаловал Такуану амнистию и разрешил поселиться в Эдо (ныне Токио), а еще через три года позволил ему вернуться в Киото. По приезду в Эдо Такуан оказался в необычном положении. Три года назад он был лишен звания и сослан за протест против действий первых двух
сегунов,а теперь он должен был служить третьему
сёгуну,Иэмицу.2 июля 1637 года Такуан и два других буддийских священника из числа сосланных вместе с ним были приглашены в замок Эдодзе, резиденцию
сегунаИэмицу, для выяснения судьбы храма Дайтокудзи. Дело в том, что после «выступления пурпурных мантий», за которым последовала ссылка старших монахов этого храма, сам храм оказался в запустении. После встречи с
сегуномвсем священникам вернули их звания и разрешили вернуться в Дайтокудзи.Сегун
Иэмицу доверял Такуану и пожелал, чтобы он остался в Эдо и стал его советником. Такуан выполнил волю
сегуна,и впоследствии тот часто вызывал его в замок Эдодзе для неформальных бесед. Иногда
сегунпроводил в разговоре с Такуаном целый день, собственной персоной посещая имение своего учителя фехтования Ягю Мунэнори Тадзима-но-ками, на территории которого жил Такуан и для которого Такуан написал свой самый известный трактат об искусстве меча «Тайное писание о непоколебимой мудрости». Однажды
сегунлично провел чайную церемонию для Такуана, чтобы показать ему свою богатую коллекцию старинных чайных приборов. Из буддийских монахов один лишь Такуан удостоился этой небывалой чести.Во время общения с Такуаном к Иэмицу возвращалось утраченное спокойствие ума. В присутствии просветленного дзэнского мастера
сегунчувствовал себя прежде всего человеком, забывая о своем звании, положении и богатстве. Для Иэмицу Такуан был духовным учителем, политическим советником и просто старшим другом.Поскольку Иэмицу хотел во что бы то ни стало удержать Такуана в Эдо, он решил построить для него храм и назначить его управляющим всеми буддийскими сектами и храмами. Но Такуан, всю жизнь боровшийся за независимость буддизма от политической власти, отказался от этой должности, назвав дьяволом священника, на которого ранее была возложена эта миссия. Тогда Я по Тадзима-но-ками предложил
сегунукомпромисс: Такуан будет жить в Эдо в небольшом храме, не имея никакого отношения к политике.В 1638 году во время торжественной чайной церемонии в замке Эдодзе Иэмицу объявил, что «велит своим зодчим возвести для Такуана храм в местности Синагава и дарует храму близлежащее рисовое поле». Иэмицу был рад, что может сделать что-то для своего учителя, но Такуан, для которого храмом была вся вселенная, остался равнодушным. Хотя Такуан уважал
сегунаи заботился о нем, чем больше Иэмицу пытался осчастливить Такуана, тем больше Такуан чувствовал, что вовлекается в нечто совершенно чуждое для себя. Очевидно, представления о счастье у
сегунаи у дзэнского мастера различались.Пока для Такуана строили храм, он отправился в Киото, чтобы отпраздновать тридцать третью годовщину смерти своего учителя Кеко Дзэндзи. В Киото он посетил семью бывшего императора Гомидзуно, который попросил его выступить во дворце с лекцией о буддизме. Чтобы подготовиться к лекции, Такуан на месяц удалился в домик, который бывший император построил для Исси. В назначенный день знатные придворные и священники собрались на лекцию, которая стала выдающимся событием.