В конце 1905 года происходит «шатание» власти, неуверенность в победе той или иной стороны. «Шатается» и Азеф (тогда «зашатались» и другие сотрудники), но власть побеждает, и Азеф решает примкнуть к победившей стороне. Он начинает «писать письма» Рачковскому, но ответа не получает. Рачковский в это время строит планы на сотрудничестве Гапона, а через последнего на активном лидере эсеров — Рутенберге. Дело кончается провалом плана Рачковского.
В Петербурге начальником охранного отделения в конце 1905 года назначается подполковник А.В. Герасимов, руководивший до того политическим розыском в Харькове. Во время наружного наблюдения за террористическими группами в Петербурге подполковник Герасимов узнает от старшего и опытного филера отделения, что в одном из «наблюдаемых» он припоминает важного и ценного секретного сотрудника по кличке «Филипповский». Азеф как-то сидел в кафе Филиппова на Тверской в Москве — отсюда и кличка. Заведующий наружным наблюдением в Московском охранном отделении Евстрат Медников, красочная фигура в политическом розыске империи, показал как-то Азефа этому доверенному и старшему филеру и добавил: «Смотри на него, это человек наш, его надо оберегать от случайностей в арестах!»
Подполковник Герасимов пытается проверить полученные сведения в Департаменте полиции, но там «по нажиму» со стороны Рачковского умалчивают о роли Азефа — «Филипповского». Тогда Герасимов, доверяя старшему филеру, решает проверить наблюдаемого «Филипповского»; его около 15 апреля 1906 года подстерегают филеры на безлюдной улице около Летнего сада, когда «Филипповский» идёт вечером со свидания с одним террористом. Его доставляют в охранное отделение, и Герасимов начинает разговор с ним. «Филипповский» отрекается от всего, но через два дня сидения в одиночной камере при охранном отделении он сдаётся, выговаривая себе деловой разговор с Герасимовым в присутствии Рачковского! А.В. Герасимов вызывает к себе в отделение П.И. Рачковского «по очень верному делу».
Вот как произошло это свидание Азефа с Рачковским, по описанию и со слов А.В. Герасимова.
«…Мы, Пётр Иванович, — говорил Герасимов, — задержали того самого «Филипповского», о котором я вас спрашивал. Представьте, он говорит, что хорошо вас знает и служил под вашим начальством. Он сейчас сидит у меня и хочет говорить в вашем присутствии.»
«Рачковский, — рассказывает дальше Герасимов, — по своему обыкновению завертелся: «Что, да как, и в чём дело? И какой это может быть Филипповский? Разве что Азеф». Тут, — прибавляет Герасимов, — я впервые в жизни услышал эту фамилию…»
Затем в кабинете Герасимова и в его присутствии состоялось бурное объяснение. Рачковский разлетелся к Азефу со своей обычной «сладенькой» улыбочкой:
«О, дорогой Евгений Филиппович, давно мы с вами не виделись. Как поживаете?» Но Азеф, после двух дней пребывания в одиночном заключении на скудном арестантском довольствии, меньше всего был склонен к любезным излияниям. К тому же он, несомненно, понимал, что «переход в наступление» для него и технически более выгоден. Поэтому он с места в карьер обрушился на Рачковского с площадной бранью. «В своей жизни, — говорит Герасимов, — я редко слышал такую отборную брань. Даже на Калашниковской набережной не часто так ругались. А Рачковскому хоть бы что! Только улыбался и приговаривал: «Да вы, Евгений Филиппович, не волнуйтесь, успокойтесь!»»
Когда Азеф наконец несколько отошёл и разговор принял более мирный характер, то выяснилось, что с Рачковским он не виделся больше полугода, с того самого дня, когда революционерами было получено письмо, содержавшее разоблачительные сведения об Азефе и Татарове.
Вначале Азеф сам не подавал признаков жизни, так как считал себя разоблачённым и боялся ещё больше скомпрометировать себя перед революционерами. Но последние месяцы он делал ряд попыток возобновить сношения с Департаментом и написал несколько писем Рачковскому с различными сообщениями. Во всех этих письмах он настойчиво просил о назначении ему свидания для личных разговоров, но никакого ответа не получил. Рачковский бросил его «на произвол судьбы», не обращая никакого внимания на его многолетнюю работу для Департамента полиции и на все его заслуги в прошлом. Именно за это он отчитывал теперь Рачковского. Последний, вопреки своему обыкновению, держался крайне смущённо, подыскивал различные оправдания своему поведению, но делал это сбивчиво и невразумительно. Аудиторию он имел, во всяком случае, не на своей стороне.