Хотя Хисамицу издал приказ об аресте Сайго, чиновники княжества не торопились задерживать человека с его репутацией и положением. Охваченный раздражением, Хисамицу отправил Сайго под конвоем из Осака в порт Ямагава. Здесь Сайго ожидал около двух месяцев, когда Хисамицу примет окончательное решение относительно обвинений и приговора. В конце концов Сайго был обвинен по четырем статьям: тайный сговор с ронинами, подстрекательство вассалов, создание помех для визита Хисамицу и отбытие из Симоно-сэки без разрешения. В качестве наказания 6/6 он снова был приговорен к ссылке, на этот раз на маленький островок Токуносима, расположенный к югу от Амамиосима. Сайго отплыл из Ямагава 11 /6, но из-за неблагоприятного ветра его корабль был вынужден вернуться в порт, а затем, на протяжении дальнейшего пути, сделать еще несколько остановок. Наконец, 5/7/1862 Сайго прибыл в деревушку Вания, расположенную на северной оконечности Токуносима.
Снова оказавшись в ссылке, Сайго был охвачен отчаянием и острым ощущением того, что его предали. Он излил свои чувства в серии писем, адресованных его другу Коба с Амамиосима, — «Даже те люди, которых я считал своими родственниками, заклеймили меня как преступника, даже не попытавшись узнать истину. Все мои друзья были убиты. К кому мне теперь обратиться?» Утверждение Сайго о том, что все его друзья были убиты, являлось сильным преувеличением. После ареста Сайго Хисамицу инициировал активные действия против радикалов, и 24/4 самураи из Сацума ворвались на собрание лоялистов, которое проходило в Фусими, возле Киото. Были обнажены мечи, и в результате состоявшейся стычки погибло несколько лоялистов из Сацума. Сайго был потрясен этой трагедией, но погибшие доводились ему знакомыми, а не близкими друзьями. Одного из его друзей, Мурата Синпати, Хисамицу отправил в ссылку на соседний остров Кикайгасима, но Мурата оставался в добром здравии вплоть до 1877 года, когда он, вместе с Сайго, принял смерть на склонах Сирояма. Но преувеличенное утверждение Сайго о том, что все «друзья были убиты», на самом деле достаточно точно отражало его настроение. Он видел вокруг себя только подлость, вероломство и злой рок. Однако Сайго не помышлял о самоубийстве. Для него было бы неправильно, объяснял он Коба, убить себя из гнева или отчаяния. Вместо этого он намерен смириться со всем, что уготовано для него судьбой. Но Сайго уже почти не надеялся когда-нибудь еще увидеть главные острова. Если все пойдет прахом и разразится война, размышлял он, то тогда еще есть шанс на то, что через несколько лет его вернут назад. Но, скорее всего, он проведет в изгнании всю оставшуюся жизнь. Это будет нетрудно, заявлял он, поскольку национальная политика теперь вызывает у него только отвращение.
Семья Сайго находилась поблизости, на Амамиоси-ма, и 7/1862 Айгана привезла на Токуносима их сына Кикудзиро и новорожденную дочь Кикуко. Этот визит вызвал у Сайго двойственные чувства. Через месяц он написал Коба, что был рад увидеть Кикуко, но ему не хотелось бы, чтобы его семья приезжала сюда снова. Точные мотивы Сайго нам неизвестны, но в этом письме он называет Айгану «женщина, которая мне служит», и, судя по всему, ее благосостояние интересовало его больше, чем супружеская близость. Пока Сайго знал, что его жена и дети в безопасности, он не особенно стремился к тому, чтобы их увидеть. Главная забота Сайго состояла в том, чтобы за его семьей на Амамио-сима присматривал какой-нибудь надежный человек. Пока Сайго находился в Киото, за Айганой присматривали Коба и Току, но теперь срок пребывания Коба на Амамиосима подходил к концу, и поэтому Сайго обратился с аналогичной просьбой к еще одному другу, Ка-цура Хисатакэ. Хотя Кацура был направлен на остров только в конце 1861 года с необычной двойной миссией — открыть медный рудник и организовать береговую оборону, — семьи Сайго и Кацура были знакомы на протяжении многих поколений. Вскоре после своего прибытия в