В 1904 году Бокий введен в состав Петербургского комитета РСДРП как организатор Объединенного комитета социал-демократической фракции высших учебных заведений. Он выступил одним из организаторов и участников ноябрьской демонстрации 1904 года. 9 января 1905 года, когда не удалось удержать рабочих от шествий на Дворцовую площадь, Глеб находился среди демонстрантов, а затем в составе боевых дружин на баррикадах Васильевского острова. В «Малороссийской столовой», которой заведовал Бокий, был устроен медицинский пункт под руководством доктора П. В. Мокиевского, куда свозились раненые рабочие. 6 апреля 1905 года он снова арестован по делу «Группы вооруженного восстания при Петербургской организации РСДРП». Основанием для ареста явились агентурные сведения, что квартира Бокия и «Малороссийская столовая» служат для конспиративных встреч работников петербургской организации. При обыске в столовой было найдено огромное количество нелегальной литературы. После нескольких месяцев заключения Бокия выпустили под особый надзор полиции, а по указу от 21 октября 1905 года дело прекратили.
В период октябрьских событий и недолгого периода свобод 1905 года Глеб Бокий вел партийную работу в организации Петроградской стороны как член районного комитета, создавал боевые дружины. При полицейской облаве в районном социал-демократическом клубе 18 ноября 1905 года Бокий был избит, a ll декабря арестован на собрании центральной боевой дружины района. При личном обыске у него были отобраны воззвание Союза рабочих депутатов «Ко всему народу», листок Федеративного комитета РСДРП для сбора пожертвований на вооруженное восстание и партийный членский билет. В 1906 году по болезни Бокия освободили из тюрьмы до суда под залог в 3 тысячи рублей, который внес доктор П. В. Мокиевский, а в декабре осужденный Петербургской судебной палатой по процессу «Сорока четырех» Бокий приговорен был к заключению в крепости на 2 года и 6 месяцев с зачетом 6 месяцев 26 дней предварительного заключения, но оставлен временно на свободе вследствие поданной кассации.
В январе 1907 года он начал работать в социал-демократической военной организации, являлся партийным руководителем Охтинского и Пороховского районов. При провале военной организации (дело социал-демократической фракции Второй Государственной Думы) Бокий бежал, но был арестован в июле 1907 года в Полтавской губернии.
С 1912 года Глеб Иванович принимал участие в работе по изданию большевистской газеты «Правда», перед мировой войной являлся секретарем Петербургского комитета. В апреле 1914 года он подлежал аресту по делу типографии Петербургского комитета, помещавшейся в Горном институте, но успел скрыться. А в апреле 1915 года ему пришлось дважды скрываться от ареста из-за провала Петроградского партийного комитета.
1914 — 1915 годы были для подпольщиков особенно трудными. Сменяя одна другую, накатывались волны жесточайших репрессий. Особенно большой урон понесли петербургская и московская организации большевиков. Серия провалов выявила существование в партийных центрах провокаторов, и петроградские большевики организовали так называемую «Группу 1915 года при ЦК», куда вошли самые надежные, много раз проверенные люди, в том числе Бокий, Молотов, Тихомиров, Аросев. Ужесточилась партийная дисциплина, самые серьезные требования предъявлялись к соблюдению конспирации.
Именно тогда впервые проявились те способности Бокия, благодаря которым впоследствии он стал организатором Спецотдела при ВЧК-ОГПУ-НКВД и его бессменным руководителем на протяжении многих лет. Старая большевичка, член партии с 1915 года В. Ф. Алексеева, вспоминая о работе в подполье того времени, писала:
"Конспирация в большевистском подполье, которое подвергалось особенно беспощадным расправам со стороны царских властей, действительно была суровой и сложной и потому не всегда легко давалась людям, особенно новичкам, не искушенным в борьбе. Нарушение правил конспирации могло нанести тяжелый удар по всей подпольной организации, поэтому и новичкам в соблюдении этих правил никаких скидок не делалось.
При аресте Глеба Ивановича забрали и его по виду самые обычные ученические тетради, исписанные математическими формулами, а на самом деле — записями о подпольных делах, зашифрованными математическим шифром. Шифр этот являлся изобретением Глеба Ивановича, и ключ к нему был известен только ему одному. Лучшие шифровальщики, какими только располагала царская охранка, ломали головы над этими «формулами», подозревая в них шифр. Однако раскусить этот орешек они так и не смогли.
«Сознайтесь, — говорил Глебу Ивановичу следователь, — это шифр?» А Глеб Иванович невозмутимо отвечал: «Если шифр, то расшифруйте». С досадой следователь возвращал ему эти загадочные тетради" [Алексеева В.Ф. Петроградское подполье. — М., 1975.].