Работая в ВЧК, Серебрянский продолжал поддерживать связь со своими бывшими друзьями-эсерами, что сыграло с ним злую шутку. Уже учась в институте, он был арестован своими же бывшими коллегами-чекистами. 2 декабря 1921 года Серебрянский зашел в гости к своему старому товарищу правому эсеру Давиду Абезгаузу и угодил в устроенную там засаду. Четыре месяца провел Яков в тюрьме. Следствие изучало вопрос о его возможной принадлежности к правым эсерам, находившимся в то время под фактическим запретом. 29 марта 1922 года Президиум ГПУ, рассмотрев его дело, вынес постановление: из-под стражи освободить, но «взять на учет и лишить права работать в политических, розыскных и судебных органах, а также в Наркомате иностранных дел».
Серебрянский устроился на работу заведующим канцелярией нефтетранспортного отдела треста «Москвотоп», однако в начале 1923 года был арестован по подозрению во взяточничестве. Следствие не подтвердило предъявленных ему обвинений, и Серебрянский был взят на поруки и освобожден. В октябре того же года Яков перешел на работу в редакцию газеты «Известия», где сделал окончательный политический выбор и стал кандидатом в члены ВКП(б).
И вновь в судьбу Серебрянского вмешался Блюмкин. В то время он собирался по линии внешней разведки на нелегальную работу в Палестину в качестве резидента и подыскивал себе заместителя.
Блюмкин предложил Якову, свободно владевшему английским, французским и немецким языками, ехать вместе с ним. Серебрянский дал свое согласие. Ранее принятое постановление Президиума ГПУ в отношении бывшего чекиста было отменено, и он был зачислен особоуполномоченным закордонной части Иностранного отдела. В декабре 1923 года разведчики Блюмкин и Серебрянский выехали в Яффу (ныне Тель-Авив). Накануне отъезда их принял В. Менжинский, который поставил задачу по сбору информации о планах Англии и Франции на Ближнем Востоке. Напутствуя разведчиков, он обратил их внимание на необходимость активизации вербовочной работы.
В июне 1924 года Блюмкин был отозван в Москву, и его на посту резидента сменил Серебрянский.
Историк отечественных спецслужб Олег Капчинский так описывает этот период деятельности разведчика:
«Теперь руководство разведки поставило перед Серебрянским еще более сложную задачу — создание глубоко законспирированной агентурной сети в регионе и в первую очередь в боевом сионистском движении, с чем он отлично справился. Кроме того, в течение года ему удалось привлечь к сотрудничеству большую группу эмигрантов как из числа сионистских поселенцев, так и из русских, в основном — бывших белогвардейцев, осевших в Палестине. Завербованные Серебрянским люди впоследствии составили ядро руководимой им специальной группы.
В 1924 году к Серебрянскому присоединилась жена Полина, направленная в Яффу помогать супругу по личному указанию начальника Иностранного отдела Трилиссера».
Другой историк российской разведки, Эдуард Шарапов, по этому поводу писал:
«В 1924 году, когда Серебрянский уже почти год был за границей, Трилиссер, бывший в то время начальником ИНО ОГПУ, вызвал к себе его жену — Серебрянскую Полину Натановну.
— Вам нужно ехать к мужу, — сказал Трилиссср. — Ему трудно. Вам надо быть рядом.
— Не поеду, боюсь.
Несколько затянувшаяся беседа Серебрянской и Трилиссера закончилась очень просто. Трилиссср после уговоров и объяснений положил свою ладонь на руку Серебрянской и мягко, но твердо сказал: «Ну вот что, Полина Натановна… Или вы поедете за границу к мужу или вам придется положить на стол партийный билет».
Для нее, члена партии с 1921 года, работницы Краснопресненского райкома партии, это было просто немыслимо, и она поехала. И была с мужем в Палестине, во Франции, в Германии, США и Бельгии, везде помогая мужу в трудной и необходимой для страны работе».
В 1925 году Серебрянского отозвали из Палестины и направили на нелегальную работу в Бельгию. В Москву он возвратился в феврале 1927 года и был принят в члены ВКП(б). В том же году его направили нелегальным резидентом в Париж, где он проработал до марта 1929 года. Материалы о деятельности Серебрянского в Бельгии и во Франции до сих пор носят гриф секретности. Свидетельством его успешной оперативной деятельности может являться лишь тот факт, что по окончании загранкомандировки разведчик был отмечен высшей ведомственной наградой — нагрудным знаком «Почетный чекист» и серьезным повышением по службе, а ранее — в 1927 и 1928 годах — дважды личным боевым оружием.