В 1903 г. Сазонова сменил Л. Н. Кременецкий, который был назначен в спешке, он оказался недостаточно компетентным офицером безопасности. Судя по всему, у него не было надежных осведомителей, отсутствие которых он компенсировал провокационными методами, как уже это делал в Екатеринославе. По указанию С.-Петербургского генерал-губернатора Д. Ф. Треп она, он был уволен в январе 1905 г.
Практически до начала 1905 г. не было сильной фигуры в руководстве Петербургского охранного отделения. В феврале 1905 г. его начальником, по представлению директора Департамента полиции А. А. Лопухина, был назначен А. В. Герасимов, до этого возглавлявший Харьковское охранное отделение и, как указывалось в послужной характеристике, отличившийся «испытанною уже опытностью, глубоким знанием дела и редкой преданностью служебному долгу». Он оказался именно той фигурой, которая была необходима правительству в этот сложный период революционных потрясений. Сам Департамент полиции и его руководство находились в растерянности вплоть до июня 1906 г., когда его директором назначили М. И. Трусевича.
Вспоминая свои первые дни в Петербурге, Герасимов писал, что «первую ночь в охранном отделении я провел за пустым письменным столом - в то время как вокруг меня офицеры и чиновники занимались непонятной деятельностью, - отчаиваясь и кляня свою судьбу, поставившую передо мною такую задачу. Мне ничего иного не оставалось, как сказать находящимся под угрозой террора высоким особам: "Террористы замышляют против вашей жизни. Они нам неизвестны. Мы не можем ничего против них предпринять. Мы можем только одно рекомендовать- если вам дорога собственная жизнь, не покидайте своих жилищ"».
В Петербурге Герасимов активно берется за дело, наводя порядок в самом охранном отделении и занимаясь борьбой о революционным движением. Генерал-майор Трепов, чрезвычайно довольный его действиями, считал, что благодаря «исключительно умелой распорядительности и энергии были задержаны главные распорядители смуты», обнаружены «мастерские разрывных снарядов, предупрежден ряд акций», причем «вея работа проводилась при постоянной угрозе со стороны революционеров» 5.
В июне 1905 г. Герасимов «вне правил» получил чин полковника, в 1906 г. - орден Св. Владимира. На протяжении последующих двух лет он тесно работал с премьер-министром П. А. Столыпиным. другими должностными лицами, чтобы раскрыть, подорвать и в конечном итоге разрушить подпольные революционные организации в России. Под руководством Герасимова отделение проводило десятки арестов революционеров. За свои активные действия он в 1907 г. получил чин генерал-майора, в 1908 г. удостоен Высочайшей благодарности, а 1 января 1909 г. награжден орденом Св. Станислава 1-й степени.
Тайная полиция успешно раскрывала один заговор за другим. Тем не менее за этими действиями скрывалась мрачная действительность. Социалисты-революционеры планировали убийства всего правого крыла Госсовета, министра юстиции И. Г. Щегловитова, великого князя Николая Николаевича и самого императора. В эти планы, видимо, входило также покушение на Столыпина во время его полета на самолете. Трое матросов на разных судах готовы были застрелить императора, находившегося на кораблях в Ревеле 17 мая и в Кронштадте 24 сентября 1908 г. В центре проводимых полицией охранительных мер стоял А. В. Герасимов, а за ним Е. Ф. Азеф. Герасимов доверял последнему, хотя проверял и перепроверял его донесения. Однако Азеф не упоминал о заговоре в Кронштадте, и полиция ничего не знала о нем. Лишь по счастливой случайности Николай II был спасен: двое матросов не смогли заставить себя выстрелить в монарха. Позже Спиридович писал: «Мы понятия не имели о том, насколько близки мы были к катастрофе». В результате разоблачения Азефа в январе 1909 г. общественность была шокирована, правительство дискредитировано, социал-революционеры впали в отчаяние от стыда и ужаса, а высокопоставленные служащие полиции, включая самого Герасимова, оказались в опале.