Как руководитель боевой организации эсеров организовал более 30 террористических актов, среди которых убийства шефа корпуса жандармов В. К. Плеве, петербургского генерал-губернатора Д. Ф. Трепова, генерал-губернатора Москвы великого князя Сергея Александровича, петербургского градоначальника В. Ф. фон дер Лауница, главного военного прокурора В. П. Павлова и многих других. При его участии во время Русской революции в августе 1905 г. в конце Русско-японской войны была предпринята попытка провоза морем в Россию из Англии большой партии оружия и боеприпасов, закупленной, как утверждается, на деньги, полученные из японских источников. Для операции был приобретен пароход «Джон Графтон», команду которого в основном составили латыши социалисты. «Джон Графтон» вез более 30 тысяч единиц стрелкового оружия канадского и швейцарского производства, патроны, динамит, пироксилин. Общая стоимость всего проекта составила около 100 тысяч рублей. Груз предназначался для боевых дружин эсеровских и большевистских организаций, которые осенью 1905 г. должны были активизировать вооруженную борьбу с целью силового захвата власти. Пароход, однако, сел на мель у финского берега, и большая часть оружия попала в руки российской пограничной стражи.
Охранное отделение платило Азефу за услуги около 1000 рублей в месяц. Для сравнения: во время работы во Всеобщей электрической компании в Москве он получал ежемесячное жалованье 175 рублей.
В 1908 г. Азеф был все-таки разоблачен. Важную роль в этом сыграл бывший директор Департамента полиции А. А. Лопухин. Спасаясь от вынесенного партией эсеров смертного приговора, Азеф скрывается на территории Европы. Получив от своих работодателей в царской охранке несколько настоящих заграничных паспортов, он отправляется вместе с супругой, немецкой певицей кабаре Хедли де Херо, в большое путешествие. Сначала едут на юг — Италия, Греция, Египет… Затем на север — Швеция, Норвегия, Дания… Заметая следы, они любуются достопримечательностями. Подолгу нигде не останавливаются. Так прошел почти год. После чего было решено поселиться в Берлине. По паспорту Александра Неймайера, купца, обосновались в Вильмерсдорфе на Луитпольд-штрассе (Luitpoldstrasse), 21, — в одном из лучших районов тогдашнего Берлина, в большой шестикомнатной квартире с роялем и дорогой обстановкой. Денег не жалели — состояние Азефа составляло около 200–250 тысяч марок. Очень солидная по тем временам сумма. Началась спокойная, размеренная жизнь. Азеф довольно успешно играл на бирже (по-крупному, но осмотрительно), завел полезные в новой среде знакомства. Иногда у него собирались гости за русским самоваром…
Между тем для его поиска в Берлине под руководством Карла Либкнехта была создана небольшая группа из русских и немецких социал-демократов. Но искала она его как-то вяло, так и не сумев вычислить предателя. Мало того, в 1912 г., предварительно распродав имущество и съехав с квартиры, Азеф встречается со своим разоблачителем, публицистом и революционером Владимиром Бурцевым. Здесь, по словам историка Б. И. Николаевского,