Возвратившись в Союз, Зубов вновь был направлен на работу в Закавказское ГПУ. В Закавказье он занимался борьбой с бандитизмом и организованной преступностью. Лично принимал участие в ликвидации бандформирований в Грузии и Абхазии. За мужество и героизм, проявленные в боях с бандитами, Петр Зубов в 1930 году был повторно награжден Почетным именным оружием, а в 1931 году— Почетной грамотой Коллегии ОГПУ «За беспощадную борьбу с контрреволюцией».
Однако в Грузии Зубов долго не задержался. Уже в июле 1931 года он был направлен в Париж в качестве оперативного работника резидентуры ОГПУ. В Париже разведчик занимался в основном разработкой антисоветской грузинской эмиграции, нашедшей убежище во Франции и мечтавшей о свержении советской власти в Закавказье. Хорошо зная обстановку в эмигрантских кругах, психологию и менталитет грузинских меньшевиков, а также свободно владея грузинским языком, Петр Зубов вскоре приобрел ряд ценных источников в кругах белой антисоветской эмиграции, в том числе в ближайшем окружении лидера грузинских меньшевиков Ноя Жордания, поддерживавшего тесные связи с британской и французской разведками. От этих, источников резидентура регулярно получала материалы загранбюро меньшевистской партии Грузии, сведения о подготавливавшихся ею террористических акциях. Основываясь на этих' сведениях, советским чекистам удалось предотвратить ряд терактов на территории СССР.
Разведчиком по агентурным каналам была вскрыта и нейтрализована террористическая группа, созданная грузинскими меньшевиками для совершения покушения на И.В. Сталина. Им разрабатывались и другие антисоветские эмигрантские группы, направлявшиеся в Грузию для организации повстанческого движения.
Благодаря целеустремленной работе Зубова парижская резидентура вскрыла и контролировала подготовку английской разведки к проведению крупной террористической операции на Кавказе под кодовым наименованием «Диверсия».
Грамота и наградное оружие ОГПУ.
В результате планы англичан по дестабилизации обстановки в этом регионе были сорваны.