В ходе проводимого негласного розыска Лавров вышел на след еще одного ценного агента английской разведки — скромного переплетчика Морского ведомства — Генриха Поваже, многие годы безнаказанно продававшего военные секреты России. Разоблачить его удалось лишь через несколько лет, поскольку с мая 1904 года у отделения Лаврова на поприще секретной борьбы начались серьезные осложнения.
Как показывают архивные документы неприятности у «разведочного отделения» начались 6 мая. В тот день агенты Лаврова, работавшие за графиней Комаровской, подозреваемой в шпионаже, зафиксировали организованное за ней параллельное наружное наблюдение. Неизвестные действовали весьма профессионально. Военные контрразведчики решили прекратить наблюдение и доложить о случившемся по команде. Как вскоре выяснилось, «перехватили» Комаровскую филеры тайной полиции. Лавров в своем отчете в последующем, напишет: «Когда факт отобрания состоялся, Департамент полиции объяснил его тем, что он устраивает свою небольшую организацию для наблюдения за морскими военными агентами в видах оказания помощи адмиралу Рожественскому и что на Комаровскую получены новые весьма серьезные сведения». 21 мая «Разведочное отделение» таким же точно порядком было отстранено от наблюдения за Джоном Маршалем — проходящим по документам наружной разведки тайной полиции под кличкой «Коричневый». В отчете Лаврова записано: «Возможность повторения подобных случаев, очевидно совершенно парализующих работу Отделения, вызвало необходимость обсудить положение дел, в следствии чего 8 июня и последовало особое по сему поводу совещание».
На нем представители ДП предложили устранить образовавшуюся двойственность и объединить усилия подразделения Лаврова с контрразведкой тайной полиции, — «но только на таких началах, — пишет Лавров, — которые неминуемо должны были бы привести к передаче Разведочного отделения и всего дела в ведение названного Департамента». Ротмистр, ссылаясь на установки руководства Главного штаба от этого решительно отказался. Тогда было найдено компромиссное решение — разграничить сферу деятельности. «Разведочное отделение» занимается наблюдением за «сухопутными» военными агентами, а Департамент полиции — морскими.
Однако решения данного совещания остались на бумаге. На стороне ДП было бюрократическое преимущество — поддержка шефа жандармов, министра внутренних дел Плеве, а также мощь всего аппарата общей и тайной полиции. Предвидя дальнейшее осложнение ситуации, военное руководство Лаврова пошло на своеобразный маневр.
С тем, чтобы Штаб корпуса жандармов, которому по административной линии формально подчинялся Лавров не мог «надавить» на своего офицера, последний был 17 июля Высочайшим приказом уволен в запас по армейской кавалерии. Одновременно были подготовлены документы к возвращению его на военною службу. но уже не в Корпус жандармов, а в распоряжение Главного штаба, что и было сделано приказом царя от 14 августа.
За два дня до этого строптивого начальника Разведочного отделения, пригласили в штаб-квартиру тайной полиции на Фонтанку, 16. Его принял чиновник особых поручений Иван Федорович Манасевич-Мануйлов. Вот как описывает эту встречу сам Лавров. «Господин Мануйлов объяснил, что ему поручено преобразовать организацию Департамента полиции по разведке шпионства на широких началах, по образцу Парижского Разведочного Бюро, что они имеют уже свою местную и заграничную агентуру и что для заведования этой организацией назначен особый жандармский обер-офицер, а потому, имея ввиду, что при таких условиях объединение обеих организаций все равно неизбежно, г. Мануйлов предложил Начальнику Разведочного Отделения присоединить частным образом свое Отделение к их организации». Вновь Лавров сделанные предложения отклонил, ввиду их несоответствия с «Высочайше утвержденным мнением по сему предмету Военного Министра», зафиксированным в докладной записке от 20 января 1903 года.
Но как оказалось, Мануйлов не бросал слов на ветер. Контрразведка ДП начала массированное вторжение в сферу тайной деятельности отделения Лаврова. 13 августа новым подразделением ДП берется под наблюдение шведский военный агент барон Лейонхювуд. Официальное опротестование Лавровым этих действий результата не дало. Ему пришлось свернуть работу наружной разведки. Представители тайной полиции затем начали энергично приобретать внутреннюю агентуру в окружении военных дипломатов, в том числе англичан.
В сентябре Лавров лишился своего внутреннего агента, разрабатывающего Джона Маршаля, который стал работать на контрразведку ДП. К 1 октября Разведочное отделение потеряло и второго (последнего) своего внутреннего агента по делу Маршаля, также переданного на связь сотрудникам ДП.
«При таких условиях, — писал Лавров в своем отчете, — труд очевидно становится бесцельным и приходится думать не о расширении дела, а только о возможном охранении уже ведущихся наблюдений и сбережений своих внутренних агентов».