В 1926 году Абель по линии Народного комиссариата иностранных дел был командирован в Китай на должность коменданта консульства в Шанхае, Именно здесь на него обратили внимание сотрудники ИНО ОГПУ, и с 1927 года он начинает работать в разведке. До разрыва дипломатических отношений с Китаем в 1929 году Абель работал радистом в посольстве СССР в Пекине, а после возвращения в Москву был зачислен в Особую группу ОГПУ, которой руководил Я. Серебрянский. Эта группа была создана в 1929 году как параллельная, не подчиняющаяся ИНО ОГПУ, разведывательная служба, задачей которой было глубокое агентурное внедрение на объекты военно-стратегического характера и подготовка диверсионных операций в Западной Европе и Японии в случае войны. Возможно; что именно тогда встретились и подружились Рудольф Абель и Вильям Фишер, пришедший в разведку также в 1927 году.
В октябре 1930 года уполномоченный ИНО ОГПУ Рудольф Абель под видом русского эмигранта вместе с женой Александрой был направлен в качестве нелегала в Маньчжурию. Для такой легенды были все основания. Дело в том, что сестра и брат жены Абеля — Нина и Григорий Стокалич— в 1919 году эмигрировали в Китай в город Тяньцзинь. В этой долгосрочной командировке Абель находился до осени 1936 года, после чего вернулся в Москву.
Начавшиеся в середине 30-х годов репрессии не обошли стороной и Абеля. В 1937 году был арестован и осужден к высшей мере наказания его родной брат Вольдемар, работавший начальником политотдела Балтийского морского пароходства. Его обвинили в участии в латвийском контрреволюционном националистическом заговоре и в шпионско-диверсионной деятельности в пользу Германии и Латвии и в феврале 1938 года расстреляли. О том, что пережил в это время Абель, можно судить по рассказу Кирилла Хенкина:
«Мне почему-то запомнился рассказ Рудольфа (его в те годы не выгнали, и он каждый день, умирая от страха, регулярно ходил на службу). За несколько месяцев из кабинета, в котором их было пятеро, исчезло четверо. Одного из сослуживцев Рудольфа вызвали к начальству. Он больше никогда не вернулся. И долго на вешалке висела его форменная фуражка. Никто не решался снять. И никто, разумеется, не решался спросить, куда делся их товарищ»[136]. А в марте 1938 года Абель в связи с арестом брата был уволен из органов НКВД. И это можно посчитать удачей, так как ему вполне могли вспомнить кроме брата и жену-дворянку, чей отец до 1917 года имел помещичью усадьбу в фольварке Осиповка Витебского пригородного района и был чиновником казенной палаты, и эмигрировавших в Китай родственников жены, не говоря уже о том, что непосредственный начальник Абеля — Серебрянский — в ноябре 1938 года также был арестован как «враг народа», французский и английский шпион и приговорен к смертной казни.
В том же 1938 году, но в декабре, из разведки был уволен и Фишер. Как уже говорилось, Фишер долго не мог никуда устроиться на работу, пока, отчаявшись, не написал письмо в ЦК ВКП(б). Абелю повезло больше — ему назначили хоть мизерную, но пенсию. И до самого начала войны он жил как пенсионер, исключая небольшой промежуток времени, когда ему удалось устроиться стрелком военизированной охраны.
Как и о Фишере, об Абеле вспомнили после июня 1941 года. Тогда, чтобы восстановить кадры разведки, обескровленной в годы репрессий, из тюрем и лагерей были освобождены многие оставшиеся в живых сотрудники ИНО НКВД. Среди них был и Серебрянский, назначенный начальником 3-го отделения 4-го управления НКВД, в задачу которого входила вербовка агентуры по глубокому оседанию в странах Западной Европы и США. Именно Серебрянский настоял на том, чтобы Абель и Фишер были возвращены в разведку. С 15 декабря 1941 года майор госбезопасности Абель снова в строю, на должности заместителя начальника 3-го отделения 4-го управления НКВД-НКГБ.
Однако и в тяжелое военное время «бдительные» кадровики не спускали с него глаз. Свидетельством тому следующий документ из личного дела Р.И.Абеля № 308797:
«В отдел кадров НКВД СССР.
РАПОРТ
Довожу до сведения, что на временно оккупированной немцами территории Латвийской ССР в г. Риге остались проживающие там мои родители и младший брат. О судьбе моих родных мне ничего не известно.
Зам. нач. 3-го отделения 4-го управления НКГБ СССР майор госбезопасности Р. Абель»[137].
Как уже говорилось, вместе с Абелем вернулся в разведку и Фишер. Их дороги снова пересеклись. Кирилл Хенкин, воевавший в Испании, а потом учившийся с Москве в школе радистов НКГБ, так вспоминает о первой встрече с ними: «Познакомьтесь, — сказал начальник курсов радистов Женя Геништа, — товарищи Абель и Фишер».
Геништа и сам, вероятно, не знал, кто из них кто. Неразлучные товарищи, которых — как выяснилось потом — за глаза называли «Фишерабель» или «Абель-фишер», были в штатских пальто, из-под которых выглядывали заправленные в сапоги галифе. Один был атлетического сложения блондин со слегка вьющейся шевелюрой, другой — сильно полысевший тощий брюнет с длинным, красноватым, постоянно шмыгающим носом»[138].