Неизвестно, кто из членов Главного совета отдал приказ ликвидировать кадетского депутата. Наибольшие подозрения падали на Дубровина. Однако председатель тульского отдела «Союза» Рознатовский вспомнил свою беседу с женой ближайшего помощника Пуришкевича В.Н. Казаринова: «При разговоре об убийстве Герценштейна Казариновы сказали мне, что убийство Герценштейна совершено двумя лицами по поручению Пуришкевича… Я сказал Казариновой, что получил анонимную телеграмму, из которой видно, что убийца — Дубровин, но она категорически это отрицала, говоря, что Дубровин про это ничего не знал, а что убийц нанял Пуришкевич, но за какую сумму — она не знала».
Беззаботность черносотенцев при подготовке покушения объяснялась не столько нехваткой конспиративного опыта, сколько уверенностью в полной безнаказанности. Вместо того чтобы скрываться от полиции, прибывшие в Териоки террористы уверенно направились к станционному жандарму Т.А. Запольскому. На допросе жандарм показывал: «Они подошли ко мне и отрекомендовались агентами охранного отделения. В подтверждение своих слов двое из представившихся… предъявили мне удостоверение охранного отделения. Удостоверения эти состояли из визитных фотографических карточек предъявителей, на которых имелась печать Санкт-Петербургского охранного отделения и подпись полковника Герасимова».
Охранка категорически заявила, что «некий Половнев» ей неизвестен. После Февральской революции Половнев рассказал, что примерно через десять дней после покушения его вызвал к себе полковник Герасимов, который спросил: ««Ведь не вы совершили убийство Герценштейна?», я, конечно, ответил: «Нет»; он сказал: «Ну и хорошо, молчите, вам больше нечего и говорить, и сидите спокойно». Для меня было очевидно, что Герасимов был в полном курсе дела относительно организованного «Союзом русского народа» убийства Герценштейна».
Действительно, полиция никак не реагировала на шум, поднятый либеральной печатью. Журналисты открыто обвиняли «Союз русского народа», но не могли документально доказать его причастность к этому делу. Однако лучшие юристы страны, состоявшие в рядах кадетской партии, не оставляли надежды распутать этот клубок. Они сразу же ухватились за информацию, которая через несколько месяцев просочилась из Выборгской тюрьмы. Там отбывали наказание два бывших члена боевой дружины «Союза русского народа», изгнанные из него за различные проступки. Они горели желанием отомстить своим бывшим товарищам и передали через политзаключенных, что могут многое рассказать о темных делах «Союза». Адвокат Г.Ф. Вебер вступил с ними в переговоры и узнал имена убийц Герценштейна. В декабре 1906 г. он передал все материалы члену ЦК кадетской партии, бывшему депутату I Думы А.А. Муханову, а тот направил их в Министерство юстиции.
Министр И.Г. Щегловитов поручил товарищу прокурора Петербургского окружного суда Гвоздановичу провести негласное дознание. Когда сведения Вебера полностью подтвердились, Щегловитов ходатайствовал перед Министерством внутренних дел о задержании всех подозреваемых еще до прихода официального запроса от финляндских властей, на чьей территории было совершено преступление. Столыпин распорядился оказать полное содействие в привлечении виновных к судебной ответственности.
На самом деле тайная полиция не спешила выполнять распоряжение двух министров, может быть полагая, что оно не очень искренне. Половнев был опознан на улице, доставлен в полицейский участок и… отпущен. Пока пришли официальные бумаги, он и Ларичкин скрылись. Заведующий боевой дружиной Юскевич-Красковский счел ниже своего достоинства бежать тайно. Он уведомил Министерство внутренних дел, что вынужден уехать из столицы, так как не желает, чтобы на скамью подсудимых попал Главный совет «Союза» в полном составе. Впоследствии выяснилось, что боевиков вывезли агент охранного отделения Степан Яковлев и один из руководителей «Общества активной борьбы с революцией», Леонтий Дезобри. В качестве убежища была выбрана Почаевская лавра — центр черносотенной агитации на Волыни. Член «Союза русского народа» иеромонах Илиодор, прославившийся потом своей борьбой с Распутиным, рассказывал В.Л. Бурцеву: «Когда он был в Петрограде, он встретился (я едва ли могу ошибиться в фамилии) с Комиссаровым, помощником начальника охраны, который сказал ему следующее: «Эти молодцы, убийцы Герценштейна, отправлены к вам в Почаевский монастырь: за ними тут охотятся, пусть переждут некоторое время…» И когда Илиодор приехал в свой монастырь, он узнал, что убийцы эти действительно скрываются там». Одна из популярных газет поместила групповой снимок, на котором настоятель монастыря Виталий позировал вместе с Ларичкиным.