В мае 1901 г. заведующий Особым отделом Департамента полиции сообщил Рачковскому, что Паули тайно приезжал в Москву, Киев и Харьков, но после того, как полиция устроила обыск в его квартире, вернулся в Париж. Совершенно очевидно, что перед поездкой в Россию Паули находился на службе у Рачковского, который давал ему мелкие поручения, чтобы понаблюдать за ним и испытать его.
В июне, узнав от агента охранки (конспиративное имя Друг), что в Москве Паули встречался с революционерами для организации террористических актов, директор Департамента полиции поспешил предупредить Рачковского, что Паули собирается его убить и разоблачить заграничную агентуру. Уже в следующем месяце, 19 июля, Рачковский послал в Петербург загадочное и весьма зловещее по тону сообщение: «Чрезвычайные обстоятельства вынудили меня обезвредить Паули и разрушить возникающий крайне опасный народовольческий кружок».
Ровно через год, в июле 1902 г., Рачковского сместили с поста заведующего заграничной агентурой, который он занимал на протяжении почти двух десятилетий.
Новый директор Департамента полиции А.А. Лопухин убедил Плеве, ставшего министром внутренних дел, что Рачковский слишком часто прибегал к противозаконным действиям. Обвинение это, конечно, справедливо, однако конкретный пример, который привел Лопухин в доказательство своих слов, — что один из агентов Рачковского участвовал в «анархистской бомбардировке» Льежского собора в Бельгии в 1895 г., — не имеет никаких документальных подтверждений.
Чтобы получить согласие Николая II на увольнение Рачковского, Плеве решил сыграть на неприязни императора к одному французскому шарлатану по имени Филипп. Филипп, ставший приближенным императрицы во время ее поездки во Францию в начале 1902 г., убедил ее, что она беременна, и по возвращении в Россию это событие было объявлено при дворе. Последовавшее вскоре опровержение вызвало в Петербурге неприятные толки.
У Плеве была возможность представить Рачковского виновным, поскольку заведующий заграничной агентурой имел доказательства относительно отсутствия у Филиппа медицинского диплома, и французские власти ранее привлекали его к суду за то, что он имел медицинскую практику без специального на то разрешения; но когда Рачковский сообщил об этом министру внутренних дел Д.С. Сипягину, тот велел ему навсегда забыть об этой истории. Когда Плеве нашел рапорт Рачковского в бумагах своего предшественника, у нового министра появились доказательства, что Рачковский вмешивается в дела императорской семьи, и этого было достаточно, чтобы царь в июле дал согласие на отставку Рачковского.
Годом позже, 13 июля 1903 г., в отчете Департамента полиции приводились доводы, объясняющие эту отставку. В частности, говорилось, что после 1890 г. Рачковский стал очень небрежно относиться к своим служебным обязанностям. Покровительствуя подрывникам-анархистам, значилось в отчете, «Рачковский стал злоупотреблять своею близостью к лицам, стоявшим во главе французского правительства, и позволяет себе вмешательство в дела международной политики» (намек на роль Рачковского в создании Антанты). Кроме того, во время преувеличенно громкой кампании против революционеров в начале 1902 г. по небрежению Рачковского царский режим оказался в неудобном положении. Департамент полиции все еще занимался расследованием обстоятельств взрыва в Льеже, чрезмерных трат Рачковского из средств агентуры, его личных сделок и злоупотреблений властью в борьбе с личными врагами.
У Рачковского по-прежнему оставались связи в высших кругах, влиятельные люди ему покровительствовали. К примеру, великий князь Сергей Александрович, бывший в то время московским генерал-губернатором, пригласил Рачковского сопровождать его на собрании 45 тыс. рабочих, состоявшемся в Кремле по случаю годовщины отмены крепостного права. В феврале 1905 г. террористы убьют великого князя, а на следующий день по совету могущественного петербургского генерал-губернатора Д.Ф. Трепова император восстановит Рачковского в должности и сделает его заведующим политической частью Департамента полиции на правах вице-директора.
Тем временем на посту заведующего заграничной агентурой Рачковского сменил Л.А. Ратаев, который без особого удовольствия оставил службу в Петербурге ради слежки за врагами самодержавия во Франции, Швейцарии и Англии. Позднее Ратаев назовет заграничную агентуру «пустой скорлупой» и скажет, что, когда он прибыл во Францию, отношения между агентурой и французскими чиновниками оставляли желать лучшего. Ратаев неоднократно повторял, что Рачковский умышленно и планомерно старался помешать его нормальной работе.