Достойного кандидата на должность военно-морского атташе СССР для Японии подобрать сразу не удалось. Поэтому 4 июня 1925 года состоялся приказ, в котором говорилось: «…окончивший Военную академию РККА в 1924 году Карл Янель назначается военным и военно-морским атташе при полпредстве Правительства СССР в Японии».
По линии Разведывательного управления Янель был назначен резидентом советской военной разведки в Токио. В далекую Страну восходящего солнца Янель направился вместе с женой, которую звали Зельма Яновна. Она была молода, красива, своенравна и чрезвычайно рада назначению Карла на высокую военно-дипломатическую должность в Японии. Тяжелая фронтовая жизнь, в которой она самоотверженно помогала мужу, завершилась. Будущее было новым и неожиданным.
На плечи Карла Янеля легла огромная нагрузка — создать «хозяйство» аппарата военного атташе, подобрать людей, сколотить коллектив, установить деловые контакты с японскими властями, наладить рабочие отношения с представителями японского генерального штаба, установить отношения с военными дипломатами иностранных государств, аккредитованными в японской столице. И самое главное — создать условия для решения задач, определенных начальником военной разведки Яном Берзиным. Опыт работы с иностранцами у Янеля был, но этот опыт помогал ему в работе среди представителей европейских государств. Как вести себя с японцами, Янель не знал. Поэтому, находясь в Москве, он тщательно изучал книги по истории Японии, Токио и другие города этой восточной страны, ее культуру, традиции и пытался понять, чем японцы отличаются от европейцев и можно ли с ними иметь дело, добиваясь улучшения советско-японских отношений.
В Токио действовала резидентура советской военной разведки. Руководил ее деятельностью резидент «Краб». В сентябре 1925 года «Краб» привлек к сотрудничеству крупного местного коммерсанта, который стал передавать секретные сведения военно-технического характера. «Крабу» также удалось привлечь к сотрудничеству одного японца — важного специалиста в области военного кораблестроения. От этого источника «Краб» получил чертежи новых японских военных кораблей, сведения об их боевых возможностях, описания корабельных артиллерийских систем и многое другое.
Третий агент, завербованный «Крабом», передавал ему сведения о японской авиационной промышленности. За определенное вознаграждение один японский журналист стал давать «Крабу» материалы, касающиеся внутриполитического положения в Японии и состоянии японской экономики, особенно тех ее отраслей, которые занимались выполнением военных заказов.
Привлеченные к сотрудничеству японцы в Разведуправлении Красной армии получили кодовые номера «Источник 1506», «Источник 1524» и «Источник 1531». Их сотрудничество с советской военной разведкой продолжалось более десяти лет.
Можно предположить, что умелая работа «Краба», направленная на поиск и привлечение к сотрудничеству с советской военной разведкой японских источников ценных сведений, дополнялась активной деятельностью Карла Янеля. Военный атташе разрешенными ему методами собирал сведения о Японии, ее армии и военно-морском флоте, степени их боеготовности. Сведения Янеля были также полезны и высоко оценивались в Разведывательном управлении Красной армии. Но успешной работе Янеля помешала не японская контрразведка, а банальная служебно-бытовая ссора, главными участниками которой неожиданно оказались полпред Виктор Леонтьевич Копи и жена военного атташе Зельма Янель. Что между ними произошло, теперь точно сказать невозможно. Но ссора вышла из-под контроля и стала известна в Москве, в Наркомате иностранных дел и даже Наркомате обороны.