Осенью 1901 года Гершуни принял в свою Боевую Организацию дворянина Степана Балмашева, родившегося в семье ссыльного народовольца 3 апреля 1881 года, в день казни Андрея Желябова, Софьи Перовской и Николая Кибальчича. Студент Киевского университета восемнадцатилетний Балмашев за участие в студенческих забастовках министрами Боголеповым и Сипягиным был отдан в солдаты в числе двухсот других студентов. Под давлением общества студентов из армии уволили, но продолжать учебу, конечно, не дали многим из них. В Киеве Балмашев организовал «Союз социалистов», который быстро вошел в украинскую организацию социалистов-революционеров. Товарищи говорили о его наследственном революционном темпераменте, исключительной силе воли, отваге и впечатлительности.
Подготовка к покушению происходила в Финляндии. Гершуни для истории попросил Балмашева написать свою биографию и мысли о методах борьбы с самодержавием. Боевики нервничали и Башмашев, одетый в офицерскую форму, только в петербургском поезде заметил, что забыл в Финляндии саблю, необходимую часть военной формы, и успел по дороге купить новую.
2 апреля 1902 года в полдень одетый в форму адъютанта Балмашев на лихаче подъехал к Мариинскому дворцу Петербурга, где, по данным Гершуни, на совещании Кабинета министров находился Сипягин. Адъютант Балмашев сказал охране, что прибыл к министру внутренних дел из Москвы с пакетом от генерал-губернатора и великого князя Сергея Александровича. Сипягина еще не было, и боевик остался ждать его в вестибюле Мариинского дворца. Блестящий флигель-адъютант держался совершенно спокойно и уверенно и не вызвал никаких подозрений. В час дня в Мариинский дворец прибыл с охраной Сипягин. Ему доложили, что в приемной министра ждет специальный курьер от великого князя. Несколько удивленный Сипягин подошел к Балмашеву и протянул руку за пакетом. Боевик левой рукой передал ему пакет с приговором Боевой Организации, а правой рукой быстро выхватил браунинг и застрелил министра внутренних дел империи.
Балмашев не сделал никакой попытки бежать и заявил задержавшей его охране, что он казнил Сипягина по приговору Партии социалистов-революционеров. Он гордо и мужественно держался на быстром суде и на всю монархию заявил, что «мои сообщники – правительство во главе с царем, и место им здесь, на скамье подсудимых». Его хотели склонить написать прошение о помиловании на имя царя, чтобы снизить впечатление от террористического акта в обществе, но ходивший к нему в камеру Петропавловской крепости начальник Департамента полиции доложил в Зимний, что «натолкнулся на скалу». Балмашев сказал главному полицейскому: «Вам гораздо труднее меня повесить, чем мне умереть. Я не хочу от вас никаких милостей. Единственное, о чем я вас могу попросить, так это выбрать веревку покрепче, потому, что вы и вешать как следует не умеете приговоренных вами к смерти».
Степана Балмашева повесили 3 мая 1902 года на рассвете во внутреннем дворе Шлиссельбургской крепости и в обществе тут же узнали обо всех подробностях первого политического убийства партии социалистов-революционеров и о том, что член Боевой Организации до самого мучительного конца держался спокойно и мужественно.
Убийство столпа самодержавия вызвало колоссальный резонанс в империи и вызвало одобрение или сочувствие даже у левых кругов либеральной буржуазии. Идеи террора стали распространяться среди революционно настроенной интеллигенции, и в партию эсеров вступили еще около тысячи человек. Общество заволновалось, читая прокламацию новой революционной партии, в которой впервые прозвучали слова «Боевая Организация партии социалистов-революционеров», которая об убийстве министра внутренних дел заявила, что «По делам вашим воздастся вам». Охранка попыталась захватить в Саратове помощника Гершуни Мельникова, но отчаянный боевик отбился от местных филеров только кинжалом, не став ни кого убивать, и исчез, уронив в схватке сверток с листовками о казни Сипягина эсерами. Сам Гершуни, несмотря на тотальные полицейские проверки, оставался в Петербурге, где приготовил убийство обер-прокурора Синода Победоносцева на похоронах Сипягина, но тот под усиленной охраной оставался в своем доме на Литейном, и никуда не выходил. Гершуни подготовил двух боевиков для убийства Победоносцева в Синоде, приготовив для них форму генерал-адъютанта и гимназиста, но они были выданы Зубатову Азефом, ставшим членом Боевой организации.