К 1927 году токийское правительство еще не могло действовать, отбросив всякие внешние приличия, поскольку страна была ослаблена экономическим кризисом и страшным землетрясением 1923 года. Однако Япония уже взяла курс на наращивание военной мощи, хотя пока было неясно, направится ли агрессия на материк, то есть в Китай и СССР, или обратится на Тихий океан, где неизбежным было столкновение с Соединенными Штатами, Великобританией и Голландией. В любом из этих вариантов экономике требовались сырьевые ресурсы, ибо без них островная страна, лишенная полезных ископаемых и значительных посевных площадей, превращалась в ничто. В СССР эта опасность ощущалась весьма остро, и на первой линии противодействия возможной агрессии встали спецслужбы. По традиционной схеме организации загранточек, Разведупр открыл в Токио первую “легальную” резидентуру сразу же после установления дипломатических отношений и открытия полпредства. Не отставал от него и ИНО, в 1928 году организовавший в Токио первую “легальную” резидентуру на территории Японии. Ее возглавлял В. П. Алексеев, под фамилией Железняков занимавший должность по прикрытию 2-го секретаря посольства. Несколько позже в порту Хакодате на северном острове Хоккайдо открылась возглавлявшаяся работавшим в консульстве СССР Пичугиным (“Аркадий”) резидентура полпредства ОГПУ по Дальневосточному краю (ДВК). Несмотря на значительные трудности и совершенно определенное нежелание японцев работать на иностранцев, в начале 1930-х годов точка сумела приобрести источника в 3-м отделении Кемпейтай (“Кротов”), освещавшего все контрразведывательные операции жандармерии. Он был завербован на материальной основе и особую ценность приобрел после перевода в Токио, когда получил доступ к материалам генерального штаба. Такой неожиданный всплеск в уровне получаемой от агента информации насторожил центральный аппарат разведки, обоснованно заподозривший в этом возможную контригру японцев. Сомнения усугублялись способом предоставления материалов: “Кротов” приносил на встречи оригиналы документов, которые за ночь переснимали и утром возвращали ему. Начиная с осени 1937 года он продал резидентуре, в частности, мобилизационные планы японской армии за 1937, 1938 и 1939 годы (без крайне важных таблиц-приложений), схемы организации армии мирного и военного времени, план противовоздушной обороны Токио, план пограничной охраны Маньчжурии и два кода. В последующем при “чистке” ИНО следователи обвиняли работников японского направления в том, что они сознательно подставили НКВД агента контрразведки, однако экспертиза так и не смогла дать однозначного ответа относительно подлинности документов “Кротова”. Этому помешало отсутствие таблиц, являвшихся главной составной частью мобилизационных планов. В последнее время исследователи все более склоняются к тому, что материалы источника были подлинными.
Резидентуру ПП ОГПУ по ДВК в Хакодате довольно быстро переподчинили токийской точке ИНО, которую после перехода Алексеева в штат Наркоминдела в 1932 году возглавил И. И. Шебеко. Его должность по прикрытию оставалась той же — 2-й секретарь посольства. Низкий уровень работы нового резидента вскоре стал хорошо заметен в Центре, и уже в 1933 году Шебеко заменил Б. И. Гудзь (Гинце). Новый руководитель токийской точки традиционно сохранил “крышу” 2-го секретаря и проработал в Токио до 1936 года, после чего сдал дела вернувшемуся в Токио Шебеко.