Его кратковременное пребывание на посту второго лица в Германии означало переход от германской псевдодемократии к откровенно тоталитарному режиму Гитлера. Поведение Папена оттолкнуло от него даже консерваторов, не говоря уже о левых. Поддерживали его лишь нацисты. Понимая, что под их возрастающим нажимом ему не устоять, фон Папен посоветовал Гинденбургу сделать Гитлера своим преемником. Совершив этот бескровный государственный переворот, Папен облегчил приход Гитлера к власти.
Непродолжительное время Папен пробыл на посту вице-канцлера, успев посодействовать уничтожению германского парламента и Веймарской конституции, «творения дьяволов и евреев». Он пытался «взбрыкивать», произнеся знаменитую речь 17 июня 1934 года против фашистского режима. Но вскоре смирился.
Он мешал гитлеровцам, и его надо было обезвредить. Во время «кровавой чистки» («ночь длинных ножей» 30 июня 1934 года) Гиммлер приказал ликвидировать Папена, но Гитлер, всё ещё считавший его полезным, в самый последний момент отменил этот приказ. Были уничтожены лишь ближайшие сотрудники Папена: его секретаря Герберта фон Бозе и руководителя организации «Католическое действие» Эриха Клаузенера убили в их рабочих кабинетах, а личного консультанта Эдуарда Юнга — в тюрьме.
Нацистские лидеры решили избавиться от Папена другим способом — выслать его из Германии. Он был назначен послом в Австрию. В Вене он ещё раз доказал преданность Гитлеру: ему приказали подготовить аншлюс. В июле 1934 года он участвовал в заговоре против канцлера Дольфуса, который был убит. Но путч провалился, и фон Папен исчез из Вены. Он поселился в своём саарском имении, находившемся достаточно близко от французской границы, чтобы можно было бежать, если бы Гиммлер ещё раз решил ликвидировать его.
О фон Папене вспомнил его бывший соратник по Нью-Йорку адмирал Канарис и подсказал Гитлеру мысль назначить Папена главой крупного шпионского опорного пункта — мол, он сможет оказать Германии большую услугу и в то же время будет удалён с политической арены.
Весной 1939 года Гитлер вызвал Папена и объявил, что тот назначается германским послом в Анкару.
— Благодарю вас, мой фюрер, за великую честь, — ответил Папен со скрытой радостью: он всё ещё боялся, что в Германии ему угрожает опасность.
В Анкару Папен прибыл в апреле 1939 года вместе с группой тайных агентов, псевдодипломатов и гестаповских костоломов. Он привёз с собой сундук с золотом, зная, что туркам и арабам не нравятся бумажные рейхсмарки. Это позднее он будет расплачиваться фальшивыми фунтами стерлингов, но тогда, в 1939 году, германские банки выдали ему один миллион фунтов стерлингов золотыми монетами.
Снабжённые золотом германские агенты разъехались по Среднему Востоку. Они ещё до войны прочно осели в Персии, Турции, в странах арабского мира. Главным агентом в Персии был профессор, доктор Макс фон Оппенгейм, еврейское происхождение которого не мешало ему быть ярым нацистом.
В столице Афганистана Кабуле руководителем резидентуры, подчинённым Папену, был доктор Фриц Гробба, который организовывал антианглийское движение от северо-западной границы Индии до Персидского залива. Все страны арабского мира наводнили германские шпионы. Границы районов действия двух основных средиземноморских «опорных пунктов» — в Анкаре и Мадриде — перекрывали друг друга.
Идея Гитлера заключалась в том, чтобы восстановить арабов против англичан и склонить их на сторону немцев. Гитлер перенял лозунг кайзера «от Берлина до Багдада» и готовился объявить себя, как и кайзер, «защитником ислама».
Используя национально-освободительные настроения арабских народов, а также продажность многих из их лидеров, гитлеровцам удалось поднять на восстания ряд племён. Хорошо известны замыслы немцев путём диверсий сорвать поставки в Советский Союз через Иран. Известны также и попытки сорвать Тегеранскую конференцию и захватить её участников. Летом 1943 года особый курьер сообщил фон Папену, что в Иран направлены самые опытные убийцы гестапо с целью взять «большой улов». Советская и английская разведки сорвали планы немцев.
Турецкие власти сотрудничали с британской разведкой и мешали деятельности Папена. Но влиятельная клика турецких политиканов и журналистов находилась у него на службе. Он контролировал по меньшей мере две крупные турецкие газеты, используя их для антисоюзнической пропаганды.
В Анкаре Папен активно занимался антисоветской деятельностью. Ещё до его прибытия в Анкару в Турции действовали различные антисоветские группы. Он укрепил их людьми, бежавшими из Грузии и Азербайджана в начале 1920-х годов, организовал ряд «пятых колонн», в том числе «Лигу серого волка» и «Урало-алтайскую патриотическую ассоциацию». Его люди выполняли задания политического шпионажа и военной разведки, особенно в 1942 году, когда немцы вплотную приблизились к Кавказу.
Действия Папена стали настолько опасными, что советская разведка решила убрать его. Покушение на фон Папена окончилось неудачно: бомба взорвалась в руках у болгарина, который должен был совершить его. Папен был лишь легко ранен.