Гольденберг был убеждён: князь Кропоткин являлся одним из основных виновников страданий заключённых, осуждённых по политическим делам, — тех заключённых, многих из которых Гольденберг знал лично и которые содержались в тяжёлых условиях в подведомстенных Кропоткину тюрьмах Харьковской губернии. Гольденберг не без горечи и в то же время с воодушевлением писал: «Ты имел несчастье родиться в монархической стране, где слово преследуется так, как нигде в мире, бей же их их же оружием, иди и убей Кропоткина. Так пусть же правительство знает, что мы не остановимся ни перед какими виселицами, что револьверные выстрелы не перестанут за нас говорить и защищать, пока в России не будет конституции... Carthago delenda est[28]».
Оружием и деньгами обеспечил его некто Н. Осинский. Зная, что находится в розыске, Григорий Гольденберг укрывался под фамилией Келлер. Вместе с Людвигом Кобылянским снимал он жильё под Харьковом. Почти месяц они следили за харьковским губернатором: в какое время и куда выезжает, когда возвращается, какими путями имеет обыкновение добираться до службы и возвращаться домой, в каких ресторациях и с кем предпочитает обедать, бывает ли когда без охраны. Выяснив всё, Гольденберг и Кобылянский разработали план. Стрелять в губернатора должен был Гольденберг, а на Кобылянского возлагалась другая задача: обеспечивать отход, осуществлять поддержку в случае перестрелки, ранения.
Вечером 9 февраля князь Кропоткин отправился на спектакль, который давали в здании реального училища. Покуситель со своим товарищем поджидал губернатора возле его дома. По приблизительным расчётам Кропоткин должен был вернуться довольно поздно: после спектакля мог быть ужин. Но позднее возвращение, почти полное отсутствие прохожих на улице, то есть свидетелей, как раз устраивало Гольденберга и Кобылянского. Мёрзли, спрятавшись в подворотне; согревались, пританцовывая на снегу, похлопывая себя по бокам.
Около полуночи карета Кропоткина показалась на улице. Гольденберг скинул на руки товарищу шубу, выхватил из-за пояса револьвер и побежал к карете. Подбежав к ней с левой стороны, он ухватился за ручку дверцы и так, на бегу, выстрелил через открытое окно внутрь салона. На улице горели фонари, было достаточно светло, чтобы рассмотреть губернатора, сидящего в карете. Гольденберг хотел выстрелить и во второй раз, но поскользнулся и упал. Когда поднялся, карета была уже далеко. Впрочем, как вскоре выяснилось, уже в результате первого выстрела Кропоткину была нанесена смертельная рана, и тот скончался.
Уйти удалось легко, никто за ними как будто не гнался. Несколько часов Гольденберг и Кобылянский отсиживались на конспиративной квартире у Л. Волкенштейн и А. Зубковского, где и узнали об успехе дела. Потом Гольденберг переехал в Киев. Здесь Гольденбергу предоставила кров Л. Самарская. Мотивы убийства Григорий Гольденберг изложил в небольшой статье «К обществу. Письмо социалиста-революционера, взявшего на себя казнь Кропоткина». Статья была опубликована в журнале «Земля и воля»[29], имела большой резонанс и сделала автору достаточно широкую известность. Однако положение политических заключённых в центральных тюрьмах лучше не стало. В Харькове, Киеве, Одессе после дерзкого убийства князя Кропоткина прошла волна обысков. По подозрению в причастности были задержаны десятки человек из среды революционной и сочувствующей молодой интеллигенции.
В конце марта 1879 года Гольденберг вместе с Людвигом Кобылянским и Александром Соловьёвым приехал в Петербург. Цель перед ними стояла непростая: организация и исполнение убийства государя императора Александра Николаевича. Покушение, о котором мыв своём месте расскажем подробнее, не удалось.
В октябре 1879 года принимал участие в подготовке террористического акта, который должен был прогреметь на всю Россию и в прямом, и в переносном смысле.
Гольденберг «со товарищи» рыли подкоп под полотно железной дороги недалеко от Москвы. Когда подкоп был уже почти готов, Григория Гольденберга отправили в Одессу за взрывчаткой. Это было 9 ноября. Уже 12 ноября Гольденберг получил около полутора пудов динамита от М. Фроленко. Другой товарищ по «Народной воле», образованной в августе 1879 года[30], Златопольский снабдил его деньгами — дал 300 рублей.
На следующий день Гольденберг уже выехал в Москву. Однако 14 ноября был задержан на станции Елисаветград со всем грузом взрывчатки: подвели нервы; Гольденберг очень нервничал, вёл себя суетливо и подозрительно, чем привлёк к себе внимание полиции.