Рачковский начал свою карьеру как мелкий служащий и даже поддерживал отношения со студентами более или менее революционных взглядов… Поворотным пунктом в его карьере стал 1879 год, когда он был арестован тайной полицией за деятельность, угрожающую безопасности государства. Произошло покушение на жизнь генераладъютанта Дрентельна, и, хотя Рачковский был только приятелем человека, обвиненного в укрытии преступника, этого было достаточно, чтобы он попал в руки Третьего отделения Императорской канцелярии, будущей охранки. И как это часто происходило в подобных случаях, перед Рачковским встал выбор: либо ссылка в Сибирь, либо доходная служба в самой полиции. Он избрал последний путь, на котором достиг положения человека, обладающего огромной властью.
К 1881 году Рачковский развернул широкую деятельность в правой организации «Священная дружина», которая впоследствии стала называться «Союзом русского народа», в 1883 году был адъютантом начальника тайной полиции в Петербурге, на следующий год он уже возглавлял в Париже зарубежное отделение тайной полиции. Рачковский занимал этот пост в течение 19 лет и добился больших успехов (1884–1903). Он создал агентурную сеть во Франции и Швейцарии, Англии и Германии, осуществляя тайный надзор за деятельностью русских революционеров не только в самой России, но и за границей.
Вскоре у Рачковского обнаружилась поразительная способность к интригам. В 1886 году его агенты, среди которых находился и Анри Винт, взорвали типографию русских революционеров «Народная воля» в Женеве и представили дело так, как будто типографию взорвали предатели из числа самих революционеров. В 1890 году он «раскрыл» организацию, которая якобы изготавливала в Париже бомбы для проведения террористических актов в России. В самой России в результате этого разоблачения охранка арестовала не меньше 63 террористов. Только 19 лет спустя журналист Бурцев — тот самый Бурцев, который давал показания на суде в Берне, обнародовал правду об этом деле: бомбы подкладывались людьми Рачковского по его личному указанию.
В 90-е годы изготавливали бомбы и бросали их как в Европе, так и в России; это было золотое время анархистов и нигилистов. В 1893 году Вайян бросил начиненную гвоздями бомбу в палату депутатов французского парламента; в 1894 году произошла целая серия куда более опасных взрывов в Льеже. Не вызывает сомнения, что Рачковский намеренно устроил эти акты насилия, но вполне вероятно, что он стоял и за первым взрывом. Рачковский не был удовлетворен ролью начальника зарубежной агентуры охранки и пытался влиять на ход международной политики. В организации беспорядков во Франции и Бельгии он видел возможность сближения между французской и русской полицией как первый шаг, предшествующий заключению русско-французского военного союза, который был так мил сердцу Рачковского и ради достижения которого он так много сделал.
Он устанавливал личные отношения с ведущими французскими политиками, включая президента Лубе, и с русскими сановниками, особо приближенными к царю. Но он был крайне честолюбив, и это отмечали многие, особенно те, кому пришлось сталкиваться с его честолюбием, от генерала Селиверстова, который был направлен в Париж в 1890 году, чтобы расследовать деятельность Рачковского, до министра внутренних дел Плеве, который отозвал его в 1903 году из Парижа, поскольку Рачковский вывел из подчинения министра свою тайную агентуру. Рачковский искал счастья спекулируя на бирже, и деньги позволяли ему жить в роскоши.
Этот прирожденный интриган любил заниматься подделкой документов. Будучи начальником охранки за рубежом, он в основном занимался слежкой за русскими революционерами, нашедшими убежище за границей. Один из его излюбленных методов — фабрикация письма или памфлета, в котором тот или иной революционер нападал на свое руководство. В 1887 году в парижской прессе появилось письмо некоего П. Иванова, который объявил себя разуверившимся революционером, якобы утверждавшим, что большинство террористов — евреи. В 1890 году появился памфлет, озаглавленный «Признания старого революционера», в котором укрывшиеся в Лондоне революционеры были обвинены в том, что они — британские агенты. В 1892 году появилось письмо, будто бы подписанное именем Плеханова, в котором тот обвинял руководителей «Народной воли» в опубликовании этих признаний. Спустя некоторое время появилось еще одно письмо, в котором Плеханов подвергался резким нападкам со стороны других мнимых революционеров. На самом деле документы были подделаны одним и тем же человеком — Рачковским.