Люшковым заинтересовался начальник немецкой военной разведки «Абвер» адмирал Канарис. «Он немедленно направил в Японию своего представителя, с которым японцы обещали поделиться разведывательной информацией, полученной от Люшкова. Об этом стало известно советской военной разведке. При аресте Зорге и его помощников японцам удалось захватить шифр, и они сумели прочитать ряд посланных из Москвы телеграмм. Одна из них, от 5 сентября 1938 года, гласила: „Сделайте все возможное, чтобы достать копии документов, которые специальный представитель Канариса получил от японской армии (или копии документов, полученных этим представителем у Люшкова). Передайте их немедленно“»601
. Зорге смог скопировать наиболее важные страницы. Пленка была направлена в Москву, куда была доставлена в начале 1939 г.Для немцев и японцев показания Люшкова были очень ценны, особенно сведения о частях Красной армии и о политико-экономической обстановке в СССР.
23 ноября 1938 г. Н. И. Ежов направил в Политбюро ЦК ВКП(б) на имя И. В. Сталина письмо с просьбой освободить от работы наркома внутренних дел. В числе прочих причин своего освобождения с поста он указал, что «вина моя в том, что, сомневаясь в политической честности таких людей, как бывший нач. УНКВД ДВК предатель Люшков и последнее время Наркомвнудел Украинской ССР предатель Успенский, не принял достаточных мер чекистской предупредительности и тем самым дал возможность Люшкову скрыться в Японию и Успенскому пока неизвестно куда, и розыски которого продолжаются.
Все это вместе взятое делает совершенно невозможным мою дальнейшую работу в НКВД»602
.25 ноября 1938 г. И. В. Сталин направил шифртелеграмму руководителям парторганов, проинформировав их о неблагополучном положении в НКВД. Он писал, что в середине ноября текущего года в ЦК поступило заявление из Ивановской области от т. Журавлева (начальник УНКВД) об ошибках в работе НКВД, о невнимательном отношении к сигналам с мест, о том, что нарком Ежов не реагировал на эти предупреждения. Одновременно в ЦК поступали сведения о том, что после разгрома банды Ягоды в органах НКВД СССР появилась другая банда предателей, вроде Николаева, Жуковского, Люшкова, Успенского, Пассова, Федорова, которые запутывали следственные дела, выгораживая заведомых врагов народа.
ЦК ВКП(б) потребовал от Ежова объяснений. Ежов признал, что не справился со своими задачами в НКВД и просил освободить его от обязанностей наркома НКВД, сохранив за ним посты по НКВоду и по линии работы в органах ЦК ВКП(б). ЦК ВКП(б) удовлетворил просьбу Ежова.
Таким образом побег Люшкова стал основным поводом смещения наркома НКВД Н. И. Ежова.
Люшков семь лет работал на японский Генеральный штаб в составе Бюро по изучению Восточной Азии. Он занимался проработкой данных советской прессы, был участником планирования работ местной разведки и входил в состав сотрудников по психологической войне. Жил в Токио, носил фамилию Маратов, а в самом конце войны сменил ее на Ямогучи.
Сотрудник разведки японского Генштаба М. Сагуэса так характеризовал Люшкова: «В нем было что-то демоническое. Под его взглядом хотелось съежиться, спрятаться. Руки и ноги делались вялыми. Мысли путались. Вероятно, подобное чувство испытывает кролик, встречаясь взглядом с удавом. Я безоговорочно верил рассказам Люшкова о том, как он добивался признаний у арестованных оппозиционеров. Ему, конечно, ничего не стоило загнать человеку иголку под ногти или прижечь тело горящей папиросой».
В начале 1941 г. Люшкова перевели на работу в гражданское учреждение «Това кенку дже» (Бюро по изучению Восточной Азии), являющееся фактически филиалом японской военной разведки. В обязанности входило изучение и анализ агентурных материалов, сведений радиоразведки и приграничных наблюдательных пунктов, а также показаний перебежчиков из Советского Союза. На основе этих материалов бывший чекист готовил аналитические сводки о положении в СССР. Так, в частности, Люшков подготовил критические заметки к «Краткому курсу истории ВКП(б)», проанализировал материалы стенографического отчета XVIII съезда партии603
.«Японцы активно использовали Люшкова и в пропагандистской войне против СССР. Подготовка антисоветских пропагандистских материалов и документов концентрировалась в 8-м секторе разведывательного отдела японского Генштаба. Сотрудники этого сектора привлекали в качестве эксперта Люшкова. При его участии было подготовлено несколько радиовыступлений, которые в дальнейшем японцы распространяли с передвижных радиостанций и громкоговорительных установок на территорию Советского Союза. В конце 1942 – начале 1943 г. по просьбе японского командования Люшков неоднократно выезжал в районы действия Квантунской и Корейской армий. Здесь он участвовал в разработке разведывательных и контрразведывательных операций, направленных против советских спецслужб.