После поражения Врангеля — Орлов с 1920 года на долгое время поселился в Германии, продолжив борьбу с большевизмом. В частности, в Берлине он выступил с идеей создания "Белого интернационала" (организации, в задачи которой входила "регистрация и тщательный надзор за выезжающими из Совдепии агентами"), был принят на работу разведслужбой Веймарской республики в качестве эксперта. За это время сыграл большую роль в разоблачении так называемой "германской ЧК", состоявшей из агентов Коминтерна.
В 1929 году Орлов, в результате проведённой Иностранным отделом ОГПУ операции "Фальсификатор") был подвергнут в Германии суду за попытку продать компромат на американских сенаторов Уильяма Бору и Джорджа Норриса (William Borah и George Norris), выступавших за признание СССР со стороны США и установление между ними дипломатических отношений.
После прихода к власти в Германии нацистов, Орлов эмигрировал в Бельгию, где в 1939 году был задержан и отправлен в концлагерь, где и погиб в 1941 году.
По другой версии, многочисленные запросы советской стороны в Германию о выдаче Орлова не были удовлетворены, но в 1930 году он, опасаясь выдачи Советскому Союзу, уехал с рекомендацией от В. Л. Бурцева в Бельгию, где открыто жил до конца 30-х годов (то есть Орлов не бежал от нацистов, хотя и испытывал сильную неприязнь к нацистской идеологии и даже в 1932 году был обвинён национал — социалистами в деятельности, направленной против НСДАП). По этой версии, Орлов был арестован германской службой безопасности (СД), в начале немецкой оккупации Бельгии, то есть после мая 1940 года (массовые аресты русских в Бельгии произошли осенью 1940 года), и, по некоторым данным в ходе допросов подвергался пыткам.
Несмотря на противоречивые сообщения о его отправке в немецкий концлагерь или получении "хорошей работы" в Абвере, нет сомнений в том, что он был убит выстрелом в затылок, а его тело было обнаружено в Берлине (Тиргартен) в январе 1941 года.
О другом "ценном кадре" Дзержинского или вражеском агенте среди высоко поставленных сотрудников ВЧК, поведал в своих мемуарах уже упоминавшийся ветеран-чекист Ф. Т. Фомин: "Летом 1919 года реввоенсовет армии предоставил мне возможность поехать на некоторое время в Киев для лечения. Положение под Киевом было очень тяжелое. Деникинские части наступали с Дарницы, а петлюровцы — со стороны Коростеня. Киев уже подвергался усиленному орудийному обстрелу с двух сторон.
Я решил повидаться с председателем Всеукраинской чрезвычайной комиссии Мартином Яновичем Лацисом. М. Я. Лацис попросил меня временно задержаться в Киеве: — Сами видите, как нам сейчас приходится. У нас крайняя необходимость в работниках. — Прошу вас, товарищ Лацис, используйте меня, как найдете нужным. — Ну, вот и отлично. Я направлю вас заместителем начальника Особого отдела ВЧК 12-й армии. Вы, товарищ Фомин, займитесь там арестованными. Мне сообщили, что начальник этого отдела Грюнвальд хватал всех подряд, кого нужно и не нужно. Разберитесь, пожалуйста.
С первого же дня ко мне стали приходить коммунисты-чекисты и рассказывать о том, что начальник отдела Грюнвальд со своими приближенными пьянствует, безобразничает, запугивает население. Признаться, я этому не сразу поверил. Вместе с секретарем партячейки Светловым мы занялись проверкой этих сведений, и, к сожалению, все подтвердилось.
Однажды в разговоре с начальником отряда особого отдела, не помню в связи с чем, речь зашла о гетмане Скоропадском. И тут он мне сделал неожиданное сообщение: — Товарищ начальник! У нас под арестом содержится жена гетмана Скоропадского.
А мне доподлинно было известно, что жена Скоропадского вместе с ним уехала из Киева еще в декабре 1918 года. Это, подумал я, какое-то недоразумение.
Вызвав старшего следователя Николаева, я спросил его: — Кого из женщин, содержащихся у нас под следствием, называют женой гетмана Скоропадского? — Это, как видно, арестованную Чхеидзе, — отвечает Николаев. — А кто такая Чхеидзе? Николаев несколько замялся: — Вы разве не слышали? — Нет, ничего не знаю, потому у вас и спрашиваю. — Чхеидзе была любовницей Грюнвальда. — Почему же ее называют женой гетмана Скоропадского? — Как видно, лишь потому, что она красивая женщина.
Я попросил Николаева дать мне для ознакомления дело Чхеидзе. Николаев принес тоненькую папку с надписью на обложке красным карандашом: "Английская, шпионка Чхеидзе, покушавшаяся на жизнь начальника ОО ВЧК 12-й армии тов. Грюнвальда". Написано это было собственной рукой Грюнвальда.
Открыл я папку "английской шпионки" и удивился. В деле лежало всего лишь пять небольших писем — интимная переписка Грюнвальда с Чхеидзе. Из этих писем можно было сделать только тот вывод, что за Чхеидзе (по профессии зубным врачом) нет никакого преступления и обвинение в шпионской деятельности — плод больного воображения Грюнвальда.
Я предложил старшему следователю Николаеву вызвать арестованную Чхеидзе: — Хочу поговорить с ней в вашем присутствии, вы не уходите.