Его интересы в рабочем движении были направлены на решение чисто практических проблем, а не на теоретические дебаты. Это привело к тому, что в 1900 г. корпорацией местных профсоюзов Бремена он был избран рабочим секретарем. В том же году Эберт стал депутатом от СДПГ в сенате Бремена и вскоре — председателем ее фракции.
В 1904 г. в Бремене состоялся съезд социал-демократической партии. На нем было принято решение, согласно которому наряду с членом центрального правления партии — в этом году им был Пауль Зингер — в президиум съезда избирался и представитель местной организации. Теперь эта роль выпала Фридриху Эберту. Это было время, когда в социал-демократической партии шли горячие дискуссии вокруг положений Эрфуртской программы и ревизионизма. Руководители профсоюзов, связанные будничной работой, не слишком разделяли взгляды и понимали требования Августа Бебеля и других руководителей партии, которые стояли на позициях марксизма. Более важными им казались маленькие повседневные успехи, а сохранение и укрепление достигнутой легальности более значимым, чем долгосрочная политическая перспектива. Так же был настроен и Фридрих Эберт. Он отличался большим усердием и практической предусмотрительностью, но стратегические вопросы находились вне сферы его кругозора. Во всяком случае своей работой в Бремене, а также своей деятельностью на съезде партии он показал способности хорошего организатора. Поэтому не столь удивительно, что в 1905 г. на Йенском съезде СДПГ вопреки некоторым сомнениям Бебеля Фридрих Эберт был избран секретарем центрального правления партии.
Это решение было противоречиво, потому что в Йене в вопросе о забастовке как средстве политической борьбы победили Бебель и его левые сторонники, в то время как генеральная комиссия свободных профсоюзов отказалась от таких методов борьбы. Избрание Эберта означало, что после поражения профсоюзного крыла в политически важном вопросе этот человек становился как бы гарантией внутрипартийного мира. Он показал себя превосходным организатором и в 1911 г., после смерти Пауля Зингера и по настоянию генеральной комиссии профсоюзов во главе с Карлом Легином, был выдвинут на пост второго председателя партии наряду с Августом Бебелем. Однако правление партии выбрало вместо него адвоката Гуго Гаазе.
Крупная победа социал-демократии на выборах в 1912 г. принесла Эберту мандат депутата рейхстага. В сентябре 1913 г. он был избран наряду с Гуго Гаазе вторым председателем партии.
В начале войны массы захлестнула патриотическая волна. Такими настроениями сильнее всего были охвачены те функционеры, которых, как Фридриха Эберта, не интересовали теоретические проблемы. Ставя превыше всего дисциплину и поддержание легальных организационных связей, он полагал, что борьба против внутрипартийной оппозиции становится одним из самых важных заданий руководства. Эберт сразу потребовал принятия энергичных мер при первых же признаках разногласий в партии и оппозиции ее молодежных организаций, настроенных против политики гражданского мира. После того как Карл Либк-нехт нарушил партийную дисциплину при голосовании рейхстага о военных кредитах в декабре 1914 г., Эберт немедленно потребовал его исключения из фракции и партии. В январе 1916 г. Эберт был избран сопредседателем социал-демократической фракции.
Большинство социал-демократического руководства с лета 1914 г. сохраняло доверие членов партии и избирателей, только взяв на вооружение тезис об «оборонительной войне». После того как стало ясно, что Февральская революция не привела к немедленному выходу России из войны, а подводная война не достигла серьезных успехов, скорее ускорив вступление США в войну, в начале 1917 г. и в буржуазных партиях окрепло сознание, что нужно стремиться «к миру по соглашению» при отказе от крайне аннексионистских требований во избежание полного краха. Характерно, что инициатива исходила не от социал-демократов, а от руководителя католической партии Центра Матиаса Эрцбергера. СДПГ принадлежала с тех пор к той партийной коалиции, которая выступила за «мирную резолюцию» рейхстага в июле 1917 г. и против приверженцев «победного мира».
Почти одновременно началась дискуссия вокруг необходимости введения в Германской империи западной конституционной системы. Партии, стоявшие на левых позициях, с весны 1917 г. сотрудничали в этом направлении в Межфракционном комитете, в котором СДПГ представляли Эберт и Шейдеман.
В октябре 1918 г. был образован кабинет принца Макса Баденского с целью начать переговоры о перемирии. СДПГ требовала официального участия в этом правительстве, которое признало поражение в войне, развязанной немецкими господствующими кругами, продолжавшими вести ее вплоть до горького конца. При этом среди лидеров партии Шейдеман оказался единственным, кто тактически и стратегически был достаточно умен, потребовав от буржуазных партий самим признать свое банкротство: социал-демократия, по его мнению, не должна принимать на себя правительственную ответственность, так как она не призывала к войне.