Выпады Хисамицу углубили внутренний конфликт Сайго между его обязательствами перед императором и долгом перед Симадзу. Его положение усугублялось тем обстоятельством, что он начал почитать императора Мэйдзи с той же страстью, которую когда-то берег для Нариакира. Император, писал он в письме своему дяде от 11/12/1871, был энергичным, умным, прилежным и доступным. Сайго испытывал благоговейный трепет от того, что император три раза в месяц приглашал его с ним отобедать и обсудить политические вопросы. «Его величество полностью отказался от высокомерных и властных манер [прошлого], благодаря чему господин и вассал теперь имеют возможность наслаждаться близкими, личными отношениями». Разумеется, Сайго изначально был готов к тому, чтобы восхвалять нового японского монарха, но даже западные наблюдатели достаточно благосклонно отзывались о Муцухито.
Уильям Уиллис, британский хирург, который встречался с императором в 1872 году, отметил, что это «несколько холодный», но «вполне здравомыслящий человек». Однако для Сайго спокойствие и учтивость императора имели первостепенное значение, и он перенес на свои отношения с императором Мэйдзи идеализированную модель взаимоотношений между господином и императором, которую он описывал Кацура в 1869 году.
Внутренний конфликт Сайго усилился 6/1872, в ходе поездки императора по юго-западу страны. Сайго был членом большой свиты, и при других обстоятельствах визит императора в Кагосима мог бы стать звездным часом в его карьере. Вместо этого Сайго мучился из-за растущего напряжения между Хисамицу и императорским государством. 19/6/1872, за три дня до той даты, на которую был назначен визит императора в Кагосима, Сайго сломался. Отбытие императора из Кумамото было отложено из-за ошибки в расписании, и Сайго, стоя в императорской гостиной, публично отчитал будущего адмирала Кавамура Сумиёси за его некомпетентность. После этого Сайго перенес свой гнев на арбуз, который был выброшен в сад и разбит вдребезги. Император при этом находился поблизости, и, согласно легенде, его забрызгало соком арбуза, но это его не обидело, а скорее даже позабавило. Данный инцидент, момент проявления искренней лояльности, нарушивший размеренное течение замкнутой жизни императора, стал одной из самых любимых его историй.
Прибытие императорской процессии в Кагосима внешне прошло абсолютно гладко. 22/6 императора приветствовал пушечный салют и военный парад, после чего у него состоялась ничем не примечательная встреча с Хисамицу. На протяжении последующих десяти дней император посетил целый ряд местных достопримечательностей, среди которых были деревня, изготавливающая традиционную керамику, текстильная фабрика и медицинский колледж, которым руководил британский хирург Уильям Уиллис. Единственную проблему, судя по всему, создали капризы погоды, которая внесла некоторые изменения в протокол и задержала отбытие посольства. Но тем не менее 2/7/1872 император отбыл в Токио без всяких происшествий. Однако, в тайне от Сайго, 28/6 Хисамицу встретился с императорским придворным Токудайдзи Санэнори и передал ему свой меморандум, наполненный горькими обвинениями. Политика правительства, заявлял Хисамицу, своей «вызывающей бесцеремонностью» унижала императорское государство. Если ее оставить без изменений, то эта политика приведет к тому, что Япония станет колонией «варварских наций». Чтобы остановить эту катастрофу, Хисамицу советовал вернуться к традициям. Различия между людьми высокого и низкого происхождения необходимо сохранять, одежда должна быть строго регламентированной, а образовательные стандарты следует вернуть к традиционным.
Меморандум Хисамицу представлял собой общую атаку на государство Мэйдзи, и, по сути, он призывал к отказу от «Присяги на хартии» от 3/1863. Особой статьей Хисамицу выделил свою обиду на Сайго и Окубо. Он потребовал их отставки из правительства Мэйдзи и заявил, что не появится в Токио до тех пор, пока его требования не будут выполнены. Поскольку Окубо в тот момент готовился покинуть Бостон, чтобы отплыть в Англию, главной мишенью Хисамицу стал Сайго.