В отличие от большинства европейцев Рихард не стремился жить в своей среде. Вскоре после прибытия в Японию он снял для себя маленький домик с крохотным садиком в «японском» квартале в районе Адзабуку. Эта Харих-Шнайдер, профессор консерватории, так описывала этот дом:
Сам Рихард писал жене со своим обычным юмором:
Вскоре в домике появилась и хозяйка. 4 октября 1935 года Рихард отмечал день рождения в ресторанчике «Золото Рейна», где любили собираться скучающие по родине токийские немцы. В заведении старательно поддерживался немецкий дух, даже японских официанток звали европейскими именами. Впрочем, воспитаны они были в лучших японских традициях, были умны и умели развлекать гостей утонченной беседой. В тот день хозяин подозвал одну из официанток по имени Агнес и велел: «Этому господину сегодня исполнилось сорок лет. Постарайся, чтобы ему запомнился этот вечер».
Однако, несмотря на все старания девушки, «господин» чем больше пил, тем больше мрачнел.
— Люди веселятся в день рождения. А вам, наверное, у нас скучно… — сказала она, подливая гостю вина.
— Если тебе доведется отмечать сорокалетие так же далеко от родных мест, поймешь, насколько это весело, — мрачно усмехнулся тот.
Через несколько дней они случайно встретились в магазине грампластинок.
— Ты так старалась развеселить меня, что заслуживаешь награды, — улыбнулся гость. Сегодня он был весел и обаятелен, подарил Агнес несколько пластинок. В следующий раз они увиделись весной 1936 года, когда немец вновь появился в ресторане, затем — в июне… «Агнес», на которую он произвел неизгладимое впечатление, помнила каждый его визит. А вскоре они познакомились ближе. Исии Ханако — так было ее настоящее имя — стала третьей женой Рихарда Зорге.
Позднее на допросе в полиции она кратко и очень четко определила стиль его жизни: «По утрам он ходил в германское посольство, часто бывал пьян и иногда писал статьи». Если вечером Рихард был свободен, он непременно проводил время в каком-нибудь из любимых дипломатами, военными и журналистами ресторанов. Постепенно постоянное напряжение, да и разочарование в идеалах молодости накладывали свой отпечаток на его характер. Свойственный Зорге искрометный юмор все чаще уступал место сарказму, он становился циничным, все больше и больше пил.
Доктор Лили Абегг, корреспондент «Франкфуртер Цайтунг» на Дальнем Востоке, вспоминает: