Получив образование в реформированном хедере, где преподавание велось не на идиш, а на иврите, БГ под влиянием своего отца с ранних лет проникся идеями сионизма. В 1903 присоединился к сионистскому рабочему движению По'алей Цион, а в 1906 переселился в Палестину. Работал в сельском хозяйстве, в немногих еврейских поселениях того времени. С первых дней пребывания в стране БГ активно занимался общественной деятельностью. Он был сразу же избран в центральный комитет партии По'алей Цион, насчитывавшей в ишуве лищь несколько десятков членов. На конференции, состоявшейся в Рамле в 1906, принял участие в формулировании программы палестинского центра партии в соответствии с сионистско-марксистской идеологией Б.Борохова. Уже тогда БГ был ревностным сторонником внедрения языка иврит во все области жизни еврейских рабочих страны. В 1910 он стал членом редакции партийного органа «Ха-ахдут». В 1911 БГ был избран делегатом на Сионистский конгресс и на конференцию По'алей Цион в Вене. В том же году он вместе со своим соратником И.Бен-Цви отправился изучать право в Стамбул, стремясь установить связи с новой интеллигенцией Турции, во главе которой после свержения султана стояли младотурки.
В 1915, когда Турция вступила в 1-ю мировую войну на стороне Австрии и Германии, БГ был обвинен в конспиративной деятельности, направленной на создание еврейского государства в Палестине, и выслан в Египет, откуда сн отправился в США, где занялся организацией молодежного движения, участники которого должны были переселиться в Эрец-Исраэль сразу же по окончании войны. В 1917 БГ женился в Нью-Йорке на Поле Мунвейс, которая на протяжении более 50 лет была его верной подругой (ум. 1968). После Декларации Бальфура БГ становится поборником создания еврейских подразделений в британской армии, чему ранее противился. В мае 1918 он вступил в один из батальонов сформированного к тому времени Еврейского легиона. В 1919 в Яффе состоялась 13-я конференция Поалей Цион, на которой БГ выступил с призывом к еврейским рабочим в стране и диаспоре объединиться в единую организацию, которая должна стать основной политической силой формирования на древней родине нового общества, основанного на социалистических принципах хозяйственной кооперации, взаимопомощи и коллективизма.
В 1920 был основан Гистадрут. В 1921 БГ был избран его генеральным секретарем и занимал этот пост в течение 14 лет. Под руководством БГ Гистадрут превратился в мощную организацию рабочих, представляющую собой не только объединение профессиональных союзов, но и концерн сельскохозяйственных, промышленных, строительных и торговых предприятий. В рамках Гистадрута была организована центральная касса здравоохранения рабочих (Купат-холим), сеть учебных заведений, некоторое время в его ведении находилось также дело самообороны еврейского населения страны. БГ принимал активное участие в организации и проведении в жизнь всех этих назначений. Он также возглавлял борьбу за внедрение еврейского труда в частные предприятия и правительственные учреждения, пользовавшиеся арабским трудом, за улучшение условий труда, организовывал забастовки.
В начале 20-х гг. БГ пытался установить отношения между Гистадрутом и советскими профсоюзами в надежде, что таким образом будет создана реальная возможность легальной деятельности сионистско-социалистического движения в СССР и советские власти разрешат выезд евреев Советского Союза в Палестину. Эти усилия БГ не увенчались успехом. В 1923 БГ посетил СССР во время международной сельско-хозяйственной выставки в Москве, в которой принимал участие и Гистадрут. Встречи БГ с группами сионистской молодежи оказали значительное влияние на их сплочение и на создание нелегального халуцианского движения в СССР (в особенности ха-Шомер xa-ца'ир).
С середине 20-х гг. в ишуве образовались группы, противившиеся усилению социалистического движения. Из оппозиционных групп и партий наиболее крупным и влиятельным стало движение сионистов-ревизионистов, руководимое В.Жаботинским. БГ, возглавивший острую борьбу сионистов-социалистов с этим движением, выдвинул в ходе полемики с ним формулу "от класса к народу", согласно которой рабочий класс является ведущей силой евврейского национального возрождения и поэтому ему должна принадлежать роль гегемона как в ишуве, так и в сионистском движении в целом.