Начинается с того, что он бросает свое жилище, — что это был дом его бабки, переданный ему по наследству, мы знаем из его произведения,— стоявшее, по-видимому, где-нибудь поблизости от дворца, и решается порвать с прежним образом жизни, а может быть, и оказывается вынужденным к этому переменами в своей судьбе, и вступает на новый, уже отличный от прежнего, путь скромного обитателя небольшого домика недалеко от реки Камогава в окрестностях Киото. Так живет он все же с некоторым комфортом около двадцати лет; за это время не раз он стоит перед искушением вернуться вновь к прежней жизни. Начать с того, что делаются попытки вновь привлечь его ко двору: император Готоба, помня своего прежнего поэта и музыканта, стремится вернуть его в Поэтическую академию, однако Тёмэй непреклонен. Его отказ нашел отражение в стихотворении, посланном как будто этому императору и приводимом в сборнике «Син Кокинсю».