Наряду с легальными ярославские большевики используют нелегальные формы работы: распространяют марксистскую литературу, ведут устную и печатную агитацию, устраивают нелегальные сходки и уличные демонстрации. 16 января состоялся Митинг студентов лицея и интеллигенции. В начале февраля в районе железнодорожных мастерских за Волгой проведена массовка рабочих. Она была разогнана полицией. Во всех этих событиях активно участвует Менжинский, и это не остается не замеченным охранкой. В делах Ярославского жандармского управления в сводке данных наружного наблюдения по группе Северного комитета упоминается, что 4 февраля 1905 года «Контрольный» (кличка Менжинского у агентов наружного наблюдения) встречался с «Резвой» (Н. А. Дидрикаль, член Северного комитета). 14 февраля 1905 года на квартире помощника начальника отделения Управления постройки железнодорожной линии Вологда — Вятка состоялся митинг-концерт, на котором, как доносил агент охранки, присутствовало свыше ста человек инженеров и служащих строительства дороги, 50 человек учащейся молодежи, а также «почти все известные агентуре политически неблагонадежные лица…». В числе этих лиц называется и Менжинский.
21 марта ярославские социал-демократы организовали политическую демонстрацию во время похорон гимназиста Панова. Активный участник революционного движения учащихся Панов не вынес преследований и травли со стороны полиции и некоторых учителей и покончил с собой. В демонстрации участвовали революционно настроенные учащиеся, рабочие и представители интеллигенции. Демонстранты несли венки с красными лентами, на которых было написано: «Жертве самодержавия», «Товарищу, погибшему в неравной борьбе». Гроб до самого кладбища несли с пением «Вечная память» и «Вы жертвою пали в борьбе роковой…». На кладбище состоялся митинг.
Агент охранки доносил своему начальству, что в демонстрации участвовали «известные по наружному наблюдению доктор Плаксин, Свердлов Я. М. («Бегун»), Менжинский Вячеслав («Контрольный»), Зезюлинский, Подвойский Н. И., Дидрикаль Нина и Мария…» В списке перечислено до 40 активных социал-демократов и эсеров.
Накануне Третьего съезда РСДРП Менжинский выехал на неделю в Петербург. Здесь он информировал представителей БКБ о положении дел в районе деятельности Северного комитета, передал для отправки в Лондон «Отчет Северного комитета» III съезду партии. Питерским товарищам он рассказывал о работе Ярославской группы, о том, что «животворно-революционное учение Маркса радостно принимается рабочими», что «рабочие и таких глухих углов, как Ярославль, поднимаются на поддержку товарищам крупных центров». 12 апреля 1905 года с директивами Центра, текстом первомайского воззвания «Вперед» и БКБ и транспортом литературы Менжинский вернулся в Ярославль.
В конце апреля была напечатана и распространена тиражом в семь тысяч экземпляров листовка редакции «Вперед» и БКБ. Первого мая тем же тиражом была выпущена напечатанная в подпольной типографии листовка Северного комитета, которую написал Менжинский.
Листовка призывала рабочих готовиться к вооруженному восстанию: «К оружию, рабочие и крестьяне! Устраивайте тайные сходки, составляйте дружины. Запасайтесь каким только можно оружием, посылайте доверенных людей для совета с Российской социал-демократической рабочей партией! Долой царское правительство!»
Ярославский губернатор и жандармы не на шутку встревожились. Жандармский ротмистр Немчинов незамедлительно составил список лиц, подлежащих аресту, с указанием их адресов. В этом списке мы видим фамилии Кедрова, Свердлова, Подвойского, Менжинского. Но, боясь активного протеста ярославских рабочих, ярославские жандармы не решились произвести аресты без санкции Петербурга. Начальник губернского жандармского управления полковник Марков, препровождая 22 апреля 1905 года этот список в Петербург директору департамента полиции, писал: «Некоторые из значащихся в списке лиц привлекались при вверенном мне управлении к дознаниям политического характера, остальные также давно известны мне как лица политически неблагонадежные. Тем не менее я полагал бы, что ликвидация поименованных в списке лиц цели не достигнет, т. к. я уверен в безрезультатности предполагаемых у них обысков, что возбудит лишь в городе нежелательную сенсацию, а ожидающуюся демонстрацию не отвратит… Если же Ваше превосходительство изволите усмотреть необходимость в производстве у подозреваемых лиц обысков, то благоволите известить меня об этом по телеграфу до 1 мая».
Кто-кто, а полковник Марков знал, насколько умело конспирируют ярославские большевики и насколько тупы его агенты. Они даже не знают подлинного имени Менжинского. Он-то, полковник Марков, знает Вячеслава Менжинского, знает, что обыски и у него, и у Свердлова, и у других ничего не дадут.
Но в департаменте полиции рассудили иначе. И обыски накануне Первого мая были произведены. Но они, как и предполагал Марков, ничего не дали.