В 1903 году отец Кафу, вернувшийся из Шанхая, чтобы возглавить иокогамское отделение компании «Морские почтовые перевозки», предпринял последнюю попытку повлиять на сына. Отец отправил Кафу учиться в США, надеясь, что с дипломом американского университета тот сможет работать в области торговли или финансов.
В Америке Кафу некоторое время жил в Сиэтле и Такоме, посетил Сент-Луис, где проходила Всемирная промышленная выставка, затем переехал в Вашингтон. Он посещал занятия в колледже Каламазу, изучал там французский язык и литературу, но больше наблюдал жизнь, и особенно его интересовали прижившиеся за границей соотечественники. Ведь в то время в США проживало около ста тысяч эмигрантов из Японии. Большинство американских японцев занимались фермерством, но в городах немало было содержателей увеселительных заведений, ресторанов, публичных домов. Кафу по-прежнему притягивали «темные стороны» человеческой натуры, и он писал другу в Японию: «Жизненные истории рабочих-эмигрантов и проституток сами по себе — готовые новеллы, они не требуют с моей стороны никакой отделки». Позже эти истории вошли в сборник Кафу «Американские рассказы».
Из американцев ближе всех ему была Эдит. О ней мы знаем немного — по-видимому, содержанка или проститутка, она сумела накрепко привязать к себе Кафу.
Конечно, все те годы, что Кафу провел за границей, он знакомился с литературой, причем больше европейской, чем американской, — на смену увлечению Золя пришло увлечение Мопассаном. А еще в это время он прочел книги Готье, По, Сенкевича, Толстого, Мериме. Он узнавал не только литературу, но и западную музыку, часто посещал оперу, особенно его потряс Вагнер. В отличие от многих своих соотечественников Кафу не испытал за границей острого культурного шока, не тяготило его и одиночество эмигрантской жизни. Главные его затруднения были финансового свойства, поскольку отец контролировал расходы сына. Кафу обратился с предложением своих услуг в Японское посольство, где служил его родственник. Непродолжительную работу для дипломатического ведомства сменила служба в нью-йоркском филиале одного из японских банков — место подыскал отец. Через год Кафу перевели в лионское отделение того же банка, поскольку он давно уже рвался во Францию.
В конце июля 1907 года Кафу наконец приплыл в Лион, чтобы приступить к работе, однако уже в марте следующего, 1908 года лионское отделение банка отказалось от услуг нерадивого работника. Перестал присылать деньги и отец. Кафу прожил в Париже остаток сбережений и после некоторых колебаний вернулся в Японию. Всего он провел в Париже два месяца, но всю свою жизнь вспоминал этот город и даже в Токио искал сходства с любимыми парижскими уголками.
Кафу было 25 лет, когда он уезжал, и 30 лет, когда вернулся. За границей произошло его окончательное становление и как личности, и как литератора. Между тем на родине Кафу за годы его отсутствия многое изменилось. Япония одержала победу в войне с Россией, но это стоило ста тысяч человеческих жизней и огромных экономических усилий. Всеобщее обнищание и недовольство «несправедливыми» по отношению к Японии дипломатическими итогами войны вызвало в народе волнения, правительство ответило ужесточением репрессивных мер. Япония, кичащаяся своими военными победами, вызывала у Кафу иронию и скепсис. Япония, преследующая внутреннюю крамолу, — пугала и отталкивала. Встреча с родиной лишь усилила ностальгию Кафу по воображаемой им Японии былых дней, по городу Эдо, каким он предстает на страницах старых книг, в пьесах и балладах.
Ко времени возвращения Кафу в Японии уже частично были опубликованы его «Американские рассказы». Литературные журналы начали печатать и французские впечатления Кафу, в марте 1909 года эти заметки и эссе, объединенные в один том, вышли под названием «Французские заметки». Книга сильно пострадала от цензурной правки, многие фрагменты из неё изъяли как «аморальные», и только в 1947 году в печати появилась последняя из запрещенных цензурой новелл этого сборника. Купюры объясняются не только тем, что цензоры стояли на страже нравственности, автору инкриминировали оскорбление устоев японского государства. Например, в новелле «Любовь в заморском краю» есть такой пассаж: