В Мадрид Орлов прибыл 16 сентября 1936 года вместе с семьей. Основной сферой деятельности резидентуры НКВД в Испании было оказание практической помощи законному правительству страны в создании собственной службы разведки и контрразведки, а также развертывание партизанского движения и организация диверсий в тылу франкистов.
В Испании Орлов привлек к сотрудничеству с советской разведкой добровольца интернациональной бригады имени Авраама Линкольна американца Морриса Коэна, который в дальнейшем сыграл важную роль в получении советской разведкой американских атомных секретов, действовал в США и в Англии в качестве связного видных советских разведчиков-нелегалов Вильяма Фишера (Рудольфа Абеля) и Конона Молодого и в 1995 году стал Героем Российской Федерации.
В Испании Орлову вновь пришлось руководить работой Кима Филби, который по заданию советской разведки был аккредитован в качестве фронтового корреспондента одной из английских газет при франкистском правительстве.
Под непосредственным руководством Орлова была проведена операция по подавлению вооруженного мятежа анархистов и троцкистской организации ПОУМ в Каталонии.
В 1937 году в связи с так называемым «заговором генералов», сфабрикованным Ежовым для подавления инакомыслия в Красной армии, над Орловым стали сгущаться тучи. Был отозван в Москву и репрессирован сотрудник его резидентуры, организатор диверсионной работы в тылу франкистов Григорий Сыроежкин.
Однажды в Испании, в тесном кругу сослуживцев, Григорий Сыроежкин высказал свое мнение о невиновности Тухачевского и других военачальников. Он отметил, что многих из них знает лично как честных и преданных командиров и готов поручиться за них. Однако круг сослуживцев оказался не настолько тесным, как предполагал Сыроежкин. На Лубянку полетел донос на разведчика. Он был отозван в Москву под предлогом вручения ему очередного ордена и арестован.
Кроме того, Орлов узнал, что в Москве репрессирован его двоюродный брат. Поэтому, когда в августе 1937 года в Мадрид пришла телеграмма начальника ИНО НКВД Слуцкого, в которой сообщалось, что секретные службы Франко готовятся его, Орлова, похитить, он высказал серьезные сомнения на этот счет. На предложение Слуцкого направить в Мадрид специальную охрану из двенадцати человек, которая отвечала бы за его безопасность и сопровождала во время поездок по стране, Орлов ответил категорическим отказом. В то же время он поручил своему заместителю Науму Эйтингону организовать свою личную охрану из бойцов интернациональных бригад. Она состояла из десяти человек, которые повсюду его сопровождали. Любого, кто приказал бы ликвидировать Орлова, эти люди приняли бы за предателя, потому что, по его словам, они «не верили никому, кроме Сталина».
Вторым сигналом для Орлова послужило прибытие в Мадрид в октябре 1937 года заместителя начальника ИНО НКВД Сергея Шпигельглаза. Не имея никаких конкретных поручений от начальника разведки, Шпигельглаз без ведома Орлова встретился с руководителем мобильной группы Отдела спецопераций в Испании Бородиным и беседовал с ним наедине.
Данные обстоятельства настолько встревожили Орлова, что он вывез жену и дочь во французский город Перпиньян, где снял для них виллу.
9 июля 1938 года Орлов получил приказ от Ежова выехать в бельгийский порт Антверпен для встречи с представителем Центра на борту советского парохода «Свирь».
Разведчик понял, что охота на него началась. Опасаясь ареста и депортации в СССР, 12 июля он уехал из Барселоны в Перпиньян, сообщив своему заместителю, что на время выезжает во Францию по оперативным делам.
Вскоре Орлов обратился в канадское посольство во Франции, где, предъявив дипломатические паспорта, попросил канадскую визу. Получив ее, он с женой и дочерью на канадском пароходе «Монклер» отбыл из Шербура за океан. Прибыв в Канаду, Орлов сразу же вызвал туда из США своего родственника Курника и поручил ему доставить в советское полпредство в Париже письмо, адресованное Ежову. В нем он объяснял, почему после девятнадцати лет работы в органах государственной безопасности вынужден стать невозвращенцем.
Анализируя, в частности, телеграмму наркома, предлагавшего Орлову отправиться в Антверпен для встречи с представителем Центра, разведчик отметил, что это была «коварная ловушка для ни в чем не повинного человека». Напомнив, что он не раз жертвовал своей жизнью при выполнении заданий Центра в Испании, Орлов подчеркнул, что его уже заранее занесли в списки «врагов народа» и приговорили к расстрелу. Указав, что он не намерен разделить участь уже уничтоженных Ежовым резидентов НКВД, которые, по его мнению, не были предателями, Орлов спрашивал у адресата:
«Если “Петр”, например, был шпион, то как же продолжают работать с таким человеком, как “Тюльпан”, которого он создал?.. Или, если “Манн” был шпион, то как он не предал “Вайзе”, “Зенхена” и других, с которыми продолжают работать до сих пор?»