Военная разведка разделялась на морскую и сухопутную (армейскую). Первая из них была представлена двумя структурными подразделениями генерального штаба флота. 3-й (разведывательный) отдел прославился еще в японо-китайской войне 1894 года, а затем прекрасно показал себя в русско-японской войне 1904–1905 годов и заслуженно считался гордостью военно-морских сил. Радиоразведка, включавшая перехват сообщений, криптоанализ и анализ перехвата, относилась к компетенции Секции специальной службы (Токуму хан). В военно-морских базах располагались ее периферийные отделы (Токуму бу), а также так называемые Бюро офицера-резидента (Зайдзин букан фу). Специальная разведка осуществлялась в тесном контакте с 4-м отделом, отвечавшим за связь на флоте. Агентурную работу существенно дополняла зарубежная сеть военно-морских атташе, подчинявшаяся особому подразделению штаба.
Военная разведка относилась к компетенции 2-го отдела генштаба сухопутных войск (Дай ни бу), состоявшего в рассматриваемый период из Западного и Китайского подотделов. Как и на флоте, радиоразведку вело отдельное подразделение штаба — Управление специальной службы (Токуму кикан). Кроме того, некоторые разведывательные функции выполняли Отдел войск (Рикугун бу) и Отдел внешних сношений (Рендаку бу), руководивший сетью военных атташе. Следует отметить, что в вопросах организации агентурных сетей атташе оказались едва ли не главным элементом японского разведывательного сообщества, поскольку были прекрасно подготовлены к выполнению своих задач и имели собственный штат сотрудников, в том числе и гражданских лиц. Дипломатические представительства, военные командования и военные миссии Японии за рубежом составляли основу ее единой разведывательной системы, в которой каждый посол и армейский или флотский начальник от уровня командующего армией или военно-морской базой и выше через подчиненные ему подразделения руководил оперативной работой в своей зоне ответственности. Собственную разведку в виде Японской военной миссии (ЯВМ) в Харбине имела Квантунская армия, а ее безопасность обеспечивала в основном Кемпейтай.
Все это не уберегло страну от ударов вражеских разведок, которые, однако, в основном наносились не с территории метрополии, а с периферии. Тем не менее, непосредственная работа на Японских островах также осуществлялась по мере возможности. Первым групповодом Разведупра в Японии, судя по всему, стал В. С. Ощепков. Этот человек с весьма неординарной биографией родился в 1892 году на Сахалине у матери-каторжанки и после ее смерти в четырнадцатилетием возрасте в числе двенадцати подростков был направлен в Токийскую мужскую гимназию для изучения японского языка. Это являлось частью плана российских военных властей по подготовке переводчиков для дальнейшей службы на Дальнем Востоке. В 1914 году Ощепкова зачислили в штат разведотдела штаба Приамурского военного округа. Советская власть тоже не оставила без внимания столь ценного специалиста, и в 1923 году его привлекли к работе на Разведупр. С 1924 по 1926 год в невероятно сложных условиях и без какой-либо поддержки Центра Ощепков сумел создать небольшую группу источников, но был отозван и обвинен в неэффективности работы. Позднее первый групповод служил переводчиком в разведотделе штаба Сибирского военного округа, а в 1937 году был арестован и расстрелян за шпионаж в пользу Японии.