За время длительного испытательного срока в шесть лет Азеф, во всяком случае номинально, работал под руководством иностранного агентства Рачковского. Однако по окончаний испытательного срока и завершении его образования в училище Рачковский не захотел — по неясным причинам — иметь с ним ничего общего.
Поэтому его направили обратно в Россию и устроили на работу в Москве под начало Зубатова, который в то время все еще продолжал активно заниматься созданием профсоюзов, контролируемых полицией, но уже приступил к созданию центрального агентства. Став одним из сотрудников Зубатова в этом подразделении, Азеф получил задание внедриться к эсерам, наиболее активной террористической организации.
В 1900 году Евно настолько хорошо освоился в партии социалистов-революционеров, что его месячное довольствие увеличили до ста пятидесяти рублей. В 1901 Году Азефа, имевшего высокий кредит доверия у Зубатова, посылают за границу с целью проникновения в эмигрантские круги эсеров, особенно в центральный комитет партии. За короткий срок он настолько втерся в эти структуры, что ему стал доверять сам Гершуни, который в то время подумывал о создании «боевой организации» и планировал убийство Сипягина, министра внутренних дел, или Победоносцева.
Азеф, однако, не сообщил в Охрану об этих террористических планах. Напротив, он уговорил Зубатова не беспокоить Гершуни, когда тот снова приедет в Россию в 1902 году. В результате Сипягин был убит Балмашевым, который действовал по указанию Гершуни.
Вызванный в июле 1902 года в Петербург, Азеф подвергся проверке в связи с убийством Сипягина, но сумел выкрутиться. Для таких случаев у него было несколько эффективных уверток: он сдавал либо террористов низшего звена, либо тех, кто мог его заподозрить. Азеф также заявлял, что не следует раскрывать слишком многих, так как чересчур активные действия против террористов создадут опасность для его положения. Евно частенько называл и вымышленные имена, прикрывая действительных исполнителей. К своему позору, Охрана покупалась на такие отговорки своего агента. Однако, в сущности, у нее не оставалось выбора. Азеф превратился в единственного в своем роде, глубоко законспирированного полицейского агента, которого было невозможно заменить.
В деле Сипягина Азеф замаслил Охрану, выдав несколько мелких эсеров. И Плеве, преемник Сипягина, именно тогда приказал Евно вступить в «боевую Организацию» социалистов-революционеров, чтобы предотвратить проколы в будущем.
Без всяких особых усилий с его стороны Азефа включили в «боевую организацию» осенью 1902 года, а в марте 1903 года Гершуни, чувствуя, что дни его сочтены, назвал агента Охраны своим преемником в качестве руководителя террористов. Потом события развивались стремительно. Гершуни, руководивший следующим крупным покушением на убийство Богдановича, генерал-губернатора Уфы, в мае 1903 года, вскоре после этого был пойман (его голову оценили в пятьдесят тысяч рублей). Террориста отправили в Сибирь, как надеялась Охрана, в пожизненное заключение. Азеф, который, скорее всего, получил часть выкупа за своего шефа, быстро скрылся за границей и на собрании эсеров в Женеве в июне 1903 года был объявлен руководителем «боевой организации». Такой выбор не кажется слишком глупым, если учесть, что Азеф отличался административными способностями и умением разбираться в людях, а также хладнокровием. Ему была совершенно несвойственна романтическая возбужденность обыкновенного террориста.
За период 1902–1903 годов в верхних эшелонах Охраны тоже произошли потрясения. Плеве назначил в 1902 году директором полиции Лопухина, у которого давно установились связи с Охраной через Министерство юстиции. Как подтвердили последующие события, Плеве сделал очень неудачный выбор. Рачковский, который, видимо, не стал благоразумнее после того, как вызвал неудовольствие Александра III, доложив ему о непристойном поведении во Франции вдовы Александра II, был удален из иностранного агентства за то, что сообщил нелицеприятные факты о французском факире Филиппе, очаровавшем Николая II. В 1903 году уволили Зубатова, наставника и надзирателя Азефа, после того как одна из контролируемых полицией рабочих групп учинила бесчинства в южной России. И наконец, примерно в то же время Леонид Ратаев был переведен из санкт-петербургского охранного управления на пост главы иностранного агентства и, что более важно, стал контролировать деятельность Азефа. Эта перетряска и вызванная ею неразбериха очень помогли террористам, а режим дорого заплатил за них: