В апреле 1923 г. к Киму по поручению Отаке явился японец Хироока, с которым он ранее работал в японском телеграфном агентстве «Тохо», и предложил ехать в Москву в качестве секретаря Отаке. Сообщив об этом предложении представителю Приморского ГПУ – Богданову и получив санкцию на отъезд в Москву, Ким заявил Хирооке, что согласен принять это предложение. После чего Хироока вручил ему 2000 рублей золотом на расходы по поездке. Накануне отъезда Ким посетил японское генеральное консульство, где получил охранную грамоту.
Кима приняло доверенное лицо Ватанабе Вакаса – секретарь консульства (во время интервенции ходил в офицерской форме). Вакаса заявил, что Ватанабе в вопросе внедрения в органы ОГПУ возлагает на Кима большие надежды.
До Читы Ким ехал самостоятельно, а в Чите встретился с Отаке, который ехал через Маньчжурию. Далее до Москвы они следовали вместе.
Остановились в Москве вначале в помещении гостиницы «Княжий двор». Затем по поручению Отаке Ким купил квартиру на Трифоновской улице (возле Лазаревского кладбища), где и стал проживать.
При отъезде, еще во Владивостоке Богданов в беседе с Кимом заявил, что в Москве с ним будет установлена связь представителями ОГПУ. Действительно, после своего прибытия в Москву, из ОГПУ ему позвонили по телефону и предложили явиться к Большому театру. В назначенное время состоялась встреча, на которой Ким восстановил связь с 5 контрразведывательным отделением ОГПУ. Представитель ОГПУ, с которым он начал работать, являлся оперативным работником Шпигельглазом.
Работая в качестве секретаря Отаке, Ким одновременно поддерживал негласную связь с ОГПУ. В целях завоевания авторитета и доверия перед последними, по предварительной договоренности с Отаке, он представлял в ОГПУ освещение его деятельности.
Преследуя цель внедрения в органы ОГПУ, он с согласия Отаке выдал ряд его связей: Попова М. Г., впоследствии расстрелянного за шпионаж; Шенберга, бывшего секретного сотрудника КРО, двойственную роль которого Ким «разоблачил» перед органами ОГПУ; японского коммуниста Кодама, бежавшего в Японию через финляндскую границу, и пр. Все это предпринималось по согласованию с Отаке для того, чтобы создать благоприятные условия и предпосылки внедрения Кима в аппарат ОГПУ.
Впервые с Кимом как с агентом японской разведки была установлена связь в 1925 г. полковником Сасаки Сейго, прибывшим в Москву после возобновления дипломатических отношений Японии с СССР. Он в то время являлся 2-м секретарем японского посольства. С ним Ким впервые встретился и впоследствии систематически виделся на квартире Отаке. Сасаки первое время особенно интересовался вопросом отношений Кима с ОГПУ и подробно расспрашивал о том, как идет его продвижение.
В одной из бесед Сасаки передал Киму привет от Ватанабе, предложил аккуратно доносить в ОГПУ по всем тем вопросам, какие его интересуют, всемирно добиваясь доверия. Вместе с тем он рекомендовал действовать с чрезвычайной осторожностью и не предпринимать что-либо, что могло нарушить и свести на нет намеченный план внедрения в органы ОГПУ, так как японский Генеральный штаб на Кима возлагал большие надежды. Сасаки преподал линию поведения, сводящуюся к тому, чтобы Ким с максимальной осторожностью закреплял свое положение в ОГПУ.
Ким в свою очередь информировал Сасаки о характере отношений с ОГПУ и той работе, которую он вел по заданию ОГПУ, сказав, что ему удалось создать благоприятные условия для выполнения задач, поставленных перед ним Генеральным штабом. Ким был связан с полковником Сасаки с 1925 по 1927 г.
Установки, которые были даны резидентами японского Генерального штаба Отаке и Сасаки, в интересах внедрения Кима в контрразведывательный аппарат ОГПУ в значительной мере облегчили выполнение поставленной перед ним задачи. Его деятельность как секретного сотрудника КРО ОГПУ, внешне казавшаяся безупречной, «инициатива», проявленная в деле освещения Отаке, и т. д., безусловно, способствовали укреплению его доверия у оперативных работников ОГПУ, с которыми он поддерживал связь. В результате Ким постепенно стал продвигаться. Ему стали поручать ответственную и строго секретную работу. Так, в 1927 г. он был привлечен спецотделом для работы над шифрами, а в 1928 г. стал нештатным переводчиком ОГПУ, так как к этому времени началась систематическая перлюстрация японской дипломатической почты. В этом же году он стал принимать участие в особо секретных операциях по японской линии. И наконец, в 1932 г. его перевели в гласный аппарат ОГПУ на руководящую контрразведывательную работу по японской линии. В результате основная задача, поставленная перед Кимом японским Генштабом, была достигнута.
Впервые с японским военным атташатом он установил организационную связь в 1927–1928 гг. Она была установлена с военным атташе Комацубаро на даче у Юхаси. Этому предшествовал телефонный звонок от Юхаси, который пригласил его к себе на дачу на ст. Удельная (Юхаси работал в японском посольстве секретарем-переводчиком).