В 1927 году через Перекреста резидентура добыла совершенно секретный документ — «меморандум Танаки», в котором излагались планы завоевания Японией Маньчжурии, Китая, советского Приморья и Дальнего Востока. Как отмечается в «Очерках истории российской внешней разведки», «получение “меморандума Танаки” явилось крупнейшим достижением в работе советской внешней разведки против милитаристских устремлений Японии в период 1920-х — начала 1930-х годов».
Работа Карина в качестве резидента ОГПУ в Харбине была настолько успешной, что в начале 1930-х годов харбинская резидентура стала главной «легальной» резидентурой внешней разведки в Китае. Особое внимание Карин уделял террористическим планам японской военщины в Маньчжурии, каналам засылки японских разведчиков в СССР, деятельности антисоветских эмигрантских центров.
В 1927 году завершилась служебная командировка Федора Карина в Китай. За успешную работу в качестве резидента он был награжден нагрудным знаком «Почетный работник ВЧК-ГПУ (V)».
В ноябре того же года разведчик по линии Особой группы ОГПУ в качестве резидента-нелегала был направлен в США для организации работы с нелегальных позиций. Здесь он находился до середины 1928 года. Карину удалось обосноваться в Нью-Йорке, приобрести надежные документы, легализоваться и создать прикрытие для ведения работы с нелегальных позиций. Созданной им нелегальной резидентуре на связь была передана ценная агентура, которая добывала документы Госдепартамента США, в том числе копии докладов послов США в Европе и на Дальнем Востоке, а также некоторые материалы по экономической и научно-технической разведке.
В июне 1928 года по указанию Центра Карин из США переехал в Германию, где также возглавил нелегальную резидентуру. Интересно, что для въезда в эту страну он воспользовался подлинными швейцарскими документами своего друга и начальника Артура Артузова, настоящая фамилия которого была Фраучи.
Нелегальная резидентура Карина в Германии состояла из шести человек, включая курьера и содержателя конспиративной квартиры. Несмотря на это она располагала обширной агентурной сетью, имевшей выходы на белогвардейскую вооруженную организацию Русский общевоинский союз (РОВС) во Франции, правительственные учреждения Германии, Франции и США. В марте 1931 года Карин был переведен на нелегальную работу во Францию.
В Париже он проработал до августа 1933 года и добился впечатляющих результатов в вербовочной работе. Руководимая им нелегальная резидентура имела «своих людей» в спецслужбах, важных правительственных учреждениях, выходы на главарей РОВС Кутепова и Миллера. За успешную работу во Франции Карин награжден вторым нагрудным знаком «Почетный работник ВЧК — ГПУ (XV)».
Из служебной аттестации за 1933 год, подписанной начальником Иностранного отдела ОГПУ А. X. Артузовым: «Тов. Карин Федор Яковлевич, член ВКП(б) с 1919 года, работник ВЧК — ОГПУ с 1919 года <…> один из наиболее опытных и квалифицированных руководителей разведки в условиях подполья. <…> Считаю тов. Карина в первом десятке лучших организаторов-разведчиков СССР».
По возвращении в Москву в сентябре 1933 года Карин назначен начальником 1-го отделения ИНО ОГПУ, занимавшегося ведением разведки в США и Европе. Ему было присвоено звание старшего майора госбезопасности.
В связи с возросшей нацистской угрозой в мае 1934 года Политбюро ЦК ВКП(б) рассмотрело вопрос о координации деятельности Разведывательного управления РККА, Иностранного и Особого отделов ОГПУ. Решением ЦК партии начальник ИНО ОГПУ А. X. Артузов был назначен по совместительству заместителем начальника Разведывательного управления Красной армии. Ему было предложено в месячный срок проанализировать работу военной разведки и разработать меры по устранению недостатков, прежде всего многочисленных провалов военных разведчиков. При назначении на этот пост Артузов в качестве единственного условия оговорил право взять с собой в Разведывательное управление РККА около двадцати сотрудников ИНО ОГПУ. Просьба была удовлетворена. Федор Яковлевич Карин был переведен в военную разведку и назначен на должность начальника ее 2-го отдела, занимавшегося ведением военной разведки в странах Востока. Ему было присвоено звание комкора (корпусного комиссара), что соответствовало воинскому званию генерал-лейтенанта.
В июне 1934 года Артузов подготовил подробный доклад на имя Сталина, в котором были проанализированы причины провалов военной разведки в Европе. Они вызывались низкой дисциплинированностью сотрудников Разведупра, пренебрежением правилами конспирации, использованием коммунистов европейских стран в работе «легальных» и нелегальных резидентур. Выводы Артузова были одобрены Сталиным, который распорядился «навести должный порядок» в работе резидентур военной разведки.