Главными центрами японской военной разведки в советском приграничье до так называемого «маньчжурского инцидента» (1931) являлись эвакуированные с согласия Чжан Цзолиня в Маньчжурию из Советской России военные миссии в Харбине, Маньчжоули и Хэйхэ, а также резидентура Корейской армии во Владивостоке. В своей деятельности они опирались на членов японской диаспоры в Приморье и Северной Маньчжурии, отряды белых партизан, выводимую в Забайкалье и на Дальний Восток маршрутную агентуру из китайцев, корейцев, белоэмигрантов и контрабандистов, информаторов среди служащих советских дипломатических и торговых организаций в Харбине и на Китайско-Восточной железной дороге. Однако деятельность ЯВМ ограничивали регулярные сокращения штатов и их недостаточное финансирование со стороны Военного министерства, массовый отток японских мигрантов с Дальнего Востока и из Забайкалья, а также разобщённость белоэмигрантских организаций в Китае. Кроме того, в 1924–1927 гг. советские органы государственной безопасности сумели перехватить линии связи Токио с владивостокским генконсульством и головной миссией в Харбине, в силу чего японская военная разведка лишилась большей части своих агентурных позиций в Приморье и Приамурье.
Хотя командование Квантунской армии дважды – в 1924 и 1927 гг. – пыталось заручиться согласием Военного министерства на расширение разведаппарата в Советском Союзе за счёт организации новых резидентур на Дальнем Востоке, в Сибири и Забайкалье под прикрытием японских дипломатических и торговых представительств, вплоть до 1932 г. правительство уклонялось от реализации каких-либо предложений по усилению разведки на материке, опасаясь возможных дипломатических осложнений в случае разоблачения её агентуры.
В целях расширения источников получения достоверной информации о СССР японская военная разведка наладила в 1919–1923 гг. тесное взаимодействие с ГШ Польши, Латвии, Эстонии, Франции и Германии, которые, как полагали в Токио, имели надёжные агентурные позиции в СССР. Однако советские органы госбезопасности заблаговременно перехватили их разведывательные каналы, поэтому в 1922–1925 гг. передавали японцам специально подготовленную дезинформацию, содержавшую завышенные данные о численности личного состава, танкового и авиационного парков Красной армии, что, по замыслу советского руководства, должно было удерживать Токио от нападения на нашу страну.
Ситуация не изменилась и после учреждения в 1925 г. легальной резидентуры под прикрытием военного атташата при посольстве Японии в Москве. Практически сразу её личный состав попал под плотное наружное наблюдение, шифропереписка военного атташе с 1927 г. перехватывалась и читалась Спецотделом ОГПУ, из его сейфа регулярно изымалась служебная документация, почта посольства и ВАТ перлюстрировалась при перевозке через Советский Союз, к сотрудникам резидентуры была подведена агентура из военнослужащих Красной армии и лиц женского пола.
Не оправдала себя и ставка японской военной разведки на использование разведчиков под видом транзитных путешественников или стажёров русского языка. В 1927 г. советское правительство перекрыло этот канал поступления разведывательной информации, ограничив пребывание японских офицеров в СССР их стажировкой в воинских частях на условиях взаимного прикомандирования советских военнослужащих к японской армии.
Со всей очевидностью недостатки в организации разведывательного аппарата Генштаба Японии в СССР вскрылись во время советско-китайского конфликта на КВЖД в 1929 г. Московская резидентура черпала сведения из открытых печатных изданий, бесед с официальными представителями НКИД и НКВМ и сообщений польского военного атташе. Военные миссии в Северной Маньчжурии не имели постоянных агентурных позиций в Приморье и Забайкалье, поэтому получали информацию от маршрутных агентов, дезертиров, командования китайских войск, пассажиров и проводников КВЖД. В ходе конфликта маньчжурская ЯВМ утратила связь с Харбином, что привело к задержкам в получении Токио сведений о развитии обстановки на 2–3 дня.