По возвращении домой, в Эрец-Исраэль, Бен-Гурион убедил членов своей партии «Поалей Цион» поддержать идею объединения. Однако соперничающая партия, «Ха-поэль ха-цаир», отклонила это предложение. Но это не остановило Бен-Гуриона и Кацнельсона, они созвали всеобщую конференцию рабочих Израиля и образовали «Ахдут ха-авода» («Трудовой союз»), выступивший с призывом дать «международные гарантии для еврейского государства в стране Израиля».
Хотя «Ха-поэль ха-цаир» отказалась присоединиться к новой партии, впоследствии она объединилась с «Ахдут ха-авода» в рамках «Гистадрута». Бен-Гурион по-прежнему был верен своей цели — объединению общин под эгидой рабочего движения.
Не будучи религиозным человеком (с Полой он заключил гражданский брак), Бен-Гурион ясно сознавал важность еврейских традиций, он полагал, что религию — как фактор политического влияния — рано сбрасывать со счетов. Именно поэтому в новом государстве он оставил в ведении раввината институт брака, освободил ортодоксов от службы в армии, а выходным днем объявил субботу.
«Я не хожу в синагогу, — говорил Бен-Гурион, — но синагога, в которую я не хожу, — ортодоксальная синагога». А английский писатель и публицист Хаим Бермант остроумно заметил, что «хотя сам Бен-Гурион не верил в Бога, иногда можно было подумать, что Бог верит в него».
Бен-Гурион для великой задачи был готов вступить в союз по крайней мере с частью религиозной еврейской общины Палестины. С этой целью он начал вести переговоры с рабби Иехудой Лейбом Фишманом из религиозно-сионистского движения «Мизрахи» и путем компромиссов вовлек эту партию в органы самоуправления палестинского еврейства. Альянс между «Мизрахи» и рабочим движением просуществовал более полувека.
В двадцатые годы внимание Бен-Гуриона было сосредоточено на «Гистадруте», штаб-квартиру которого он перевел в Иерусалим, и на создании рабочих мест для новых иммигрантов. Даже на этой работе он удивительно сочетал способность кропотливо трудиться, побеждая ежедневную рутину, со способностью заглядывать в далекое будущее. Хотя в «Гистадруте» платили скупо, а Бен-Гурион должен был еще помогать жене, надолго уехавшей к родственникам в Плонск, он щедро тратил деньги на книги. Несмотря на активную организационную работу, он находил время, чтобы изучать иудаизм, христианство, арабскую историю, историю Ближнего Востока, социализм и сионизм.
Бен-Гурион не получил хорошего образования, но был крайне любознательным. Заинтересовавшись древнегреческой философией, он выучил греческий язык с тем, чтобы читать Платона в оригинале, а увлекшись трудами Спинозы, выучил латынь.
Курсируя между еврейскими общинами Восточной Европы, Бен-Гурион вступал в яростные споры с настроенными антисоциалистически сторонниками Жаботинского и не отступал даже тогда, когда возбужденная толпа забрасывала его камнями и тухлыми яйцами. В Палестине он энергично повел кампанию против ограничения еврейской иммиграции, то есть против политики британских властей. (Послевоенную иммиграцию в будущий Израиль арабское население встретило растущими актами насилия, что вылилось в кровавые события 1920-го, 1921-го и 1929 года. Это побудило англичан уменьшить приток евреев в Палестину.)
Будучи сильной личностью, Бен-Гурион, всегда готовый постоять за свои принципы, был вместе с тем сторонником единства. С сомнением относясь к проанглийской позиции Хаима Вейцмана, он вступил с ним в союз, чтобы добиться от Великобритании поддержки еврейской иммиграции. Вейцман, находившийся в Лондоне, принял участие в этой кампании.
В 1935 году Бен-Гурион стал председателем исполнительного комитета Еврейского агентства и главным лидером еврейской общины в Палестине. С этого времени он руководил сионистским движением вместе с Хаимом Вейцманом, президентом ВСО — Всемирной сионистской организации.
Несмотря на ожесточенные споры с Жаботинским, Бен-Гурион неоднократно встречался с ним, пытаясь достичь единства действий. Более того, Бен-Гурион и Жаботинский пришли к соглашению, однако руководимые ими движения этого соглашения не приняли и находятся в состоянии политической конфронтации по сей день. Союз Бен-Гуриона с Вейцманом оказался более прочным, хотя через некоторое время и эти политики вступили в конфликт: более активная позиция Бен-Гуриона оказалась несовместимой с осторожным подходом Вейцмана.
Бен-Гурион категорически возражал против вытеснения местных арабов с их земель, полагая, что евреи, осваивая Палестину, могут ограничиться свободными землями. В течение многих лет он верил в единство интересов еврейских рабочих и арабских крестьян. Однако после погромов 1929 года он постепенно осознал существование обособленного арабского национального движения и пришел к выводу, что единственный путь — это создание в Палестине еврейского большинства, способного защитить себя с оружием в руках.