В 1934 году Вукеличи переехали в дом 22 квартала Санаи района Усигомэ. Сегодня, когда расположение кварталов и нумерация домов в Токио сильно переменились, на этом месте, совсем рядом с огромным комплексом зданий Министерства обороны и станцией Итигая, стоит обычная для Токио стеклянная офисная высотка, да и вообще это один из наиболее пострадавших от войны и перестройки Токио районов города. В прежние времена его, хотя и с некоторой натяжкой, тоже можно было отнести к аристократическим, но в наши дни его основная особенность заключается в соседстве с редким для Японии вообще, а для Восточной столицы особенно, кварталом гейш Кагурадзака и с «французским» кварталом Вакамия-тё, где на небольшом кусочке жизненного пространства сконцентрировались французские школы и рестораны, Университет науки. Правда, теперь к достопримечательностям района добавилась еще одна. Сегодня на официальном сайте района Усигомэ в списке выдающихся токийцев, родившихся здесь, значится ученый-лингвист, специалист по южнославянским языкам Ямадзаки Хироси — сын Бранко Вукелича, родившийся в 1941 году. Его рождению предшествовали драматические события, и к тому, чтобы в будущем район получил свою долю славы, косвенным образом оказался причастен и советский резидент «Рамзай».
В 1934 году Вукеличи поселились в месте, отдаленно напоминающем Адзабу, но с гораздо меньшим количеством иностранцев и с очень большим числом военных. На территории комплекса Министерства обороны Японии находится здание, где в 1947 году состоялся Международный трибунал для Дальнего Востока, более известный в истории как Токийский процесс, где судили японских военных преступников высшего ранга. В тридцатых годах прошлого века, когда здесь жила семья Вукеличей, в нем находилась Императорская военная академия, часть преподавателей и слушателей которой снимала квартиры в непосредственной близости от места учебы, то есть вокруг дома Вукеличей. Неудивительно, что Эдит не понравилось и это место, хотя, по мнению Зорге, переселением семьи агента в Усигомэ проблема с его жильем была решена вполне успешно. Эдит не разделяла эту точку зрения. Она так и не смогла приспособиться к жизни в Токио, хотя, возможно, и не очень старалась. Восточная столица ее угнетала, климат не подходил, а маленький Поль часто болел, что тоже не добавляло оптимизма в сердца родителей. К тому же Бранко оказался неравнодушен к японским девушкам. Эдит начала психовать и дергать мужа по пустякам, доведя и себя, и его до состояния нервного срыва и ставя под угрозу безопасность разведывательной группы. Летом 1938 года датчанка потребовала от мужа развода, и после санкции «Мюнхена» (она кое-что знала о деятельности Бранко, и надо было продумать условия ее молчания), в августе 1939 года (по другим данным — только в сентябре 1941), Эдит уехала к сестре в Австралию, захватив с собой маленького сына. Через год Бранко женился вновь — на японке Ямадзаки Ёсико. Сохранилось фото, сделанное на их свадьбе и красноречиво свидетельствующее, что в январе 1940 года Вукелич вновь ненадолго — всего на один день — вернулся на Суругадай. Молодожены на снимке запечатлены выходящими после венчания из Николай-до… Предварительное согласие на брак давал Зорге, чрезвычайно обеспокоенный тем, что судьбу разведгруппы могут определять случайности, которые трудно предвидеть. Он скептически отзывался о роли женщин в разведке и не хотел, чтобы жизни его друзей и коллег могли быть подвергнуть смертельной опасности из-за чьей-то жены, не слишком хорошо умеющей держать язык за зубами. Особенно опасным выглядел случай, когда агент соединял свою судьбу с представительницей народа, настроенного националистически, отвергающего иностранцев и преданного в тот исторический период ценностям, против которых как раз и сражалась группа «Рамзая». Кроме того, Зорге был очень обеспокоен тем, что Бранко все больше и больше отдалялся от разведывательной работы, становясь просто одним из членов иностранной диаспоры в Токио. Макс Клаузен вспоминал: «Когда я впервые приехал в Токио, он очень много работал на группу, но чем дальше, тем больше он всегда оказывался занят чем-то другим, когда считалось, что он работает на Зорге… Я уверен, что в конце он окончательно забросил все дела. Временами, когда Зорге хотел увидеться с ним, он исчезал из виду на целую неделю. Зорге это сильно сердило, но я не говорил ему, почему Вукелич не показывается. Я хорошо понимал Вукелича, потому что и сам тоже порвал с коммунизмом».