Во Франкфурте Мюллер прошел коммерческое обучение. Но когда он работал во Франкфурте и Бреслау продавцом промышленных изделий, то не испытывал к этой профессии никакого интереса. Его привлекала больше работа в организации мелких торговых служащих. В конце 90-х гг. он вступил в СДПГ и начал сотрудничать в социал-демократической газете «Шлезише фольксвахт» в Гёрлице, а с 1899 г. стал ее редактором.
В 1904 г. Мюллер был избран депутатом городского собрания; кроме того, он возглавил районную организацию СДПГ.
Его политическая деятельность была замечена Бебелем, который на съезде партии в 1905 г. предложил кандидатуру Мюллера на пост партийного секретаря. Однако лидеры профсоюзов считали его слишком левым и предпочли избрать Эберта. Но через год Мюллер был выдвинут в правление партии социал-демократами своего родного города Мангейма.
Ни Эберт, ни Мюллер не были харизматическими личностями. Они производили впечатление деловых и рассудительных организаторов. Шейдеман с иронией писал позже, что оба его коллеги, с которыми он делил служебное помещение, являлись примером усердия и терпения в исполнении скучных бюрократических дел.
Некоторое время Мюллер работал в арбитражном суде и был приглашен Бебелем в Центральное ведомство по делам рабочей молодежи, где он трудился вместе с Людвигом Франком — первым депутатом рейхстага, погибшим в 1914 г. во Франции — и с Карлом Либкнехтом. Характерно, что Мюллер сохранил хорошие отношения с Либкнехтом вопреки всем политическим разногласиям в дальнейшем. Самостоятельность суждений он сохранил и по отношению к своему покровителю Бебелю, за которым следовал отнюдь не безоговорочно.
Новый партийный секретарь, благодаря знанию иностранных языков, установил хорошие контакты с социалистами других стран. Он посещал их съезды и слыл в СДПГ знатоком международных отношений. В эти годы Мюллер довольно тесно сблизился с Фридрихом Эбертом, а позднее и с Отто Вельсом. В отношениях с Отто Брауном с самого начала проявился дух соперничества. Не случайно Мюллер пытался помешать избранию этого восточного пруссака в правление партии в 1909 г. Видимо, это явилось причиной того, что позже Браун отзывался о Мюллере обычно отрицательно, видя в нем политического конкурента.
Герман Мюллер
С тех пор как в 1910 г. Бебель тяжело заболел, Мюллер вошел в тесный круг руководства СДПГ. Но вел он себя совсем незаметно до тех пор, пока председателем партии в 1913 г. не стал Эберт.
В начале 1914 г. на съезде партии французских социалистов Мюллер заявил, что дружба между рабочими обеих стран будет все теснее, а весной он принимал участие в работе съезда лейбористской партии. Однако через несколько месяцев надежды на международную солидарность рабочих оказались иллюзией.
Мюллер получил задание вести переговоры с социалистической фракцией французской палаты депутатов о совместных действиях для отклонения военных кредитов в немецком и французском парламентах. Французские социалисты решили, что Мюллер приехал в Париж для участия в похоронах убитого накануне популярнейшего социалиста и пацифиста Жана Жореса, на поддержку которого надеялся не знающий об этом немецкий эмиссар. Мюллер не знал и о том, что большинство берлинской фракции уже высказалось за одобрение военных кредитов. Французские же социалисты не хотели вступать в переговоры с СДПГ, полагая, что опасность войны исходит от Германии. Таким образом, эта миссия Мюллера потерпела неудачу. С трудом он сумел вернуться домой через Бельгию.
Даже если Мюллера невозможно причислить к марксистам в СДПГ, нельзя также утверждать, что он принадлежал к ревизионистам. Но, как и многие члены партии, после начала войны он поддержал правое партийное крыло и вошел в кружок Эдуарда Давида, выступавшего за внутреннюю сплоченность партии и против всех левых радикальных тенденций и пацифистских течений. Хотя Мюллер не желал, чтобы рейхсканцлер Бетман Голь-вег был принесен в жертву аннексионистам, он не видел также причин безоговорочно поддерживать канцлера.
Когда разногласия внутри СДПГ явно усилились и в Вюртемберге партийная оппозиция сплотилась вокруг штутгартской газеты «Тагвахт», Мюллер с Эбертом направились в вюртембергскую столицу. Там они обнаружили, что их внутрипартийные противники нарушили правила ведения кассы, и использовали этот смехотворный предлог, чтобы настоять на смене руководства газеты.
Схожий кризис начался в Берлине вокруг газеты «Форвертс», которая желала военного поражения кайзеровской Германии, что, по мнению Мюллера, было совершенно «скандально». Так как «Форвертс» была в очередной раз запрещена, Мюллер весной 1916 г. получил от правления партии задание осуществлять предварительную цензуру этого центрального партийного органа. Осенью он вошел в его редакцию с правом самому решать вопрос о содержании и публикации статей.
Хотя Мюллер из-за своего трезвого прагматизма имел много противников, все же ему удалось добиться мандата рейхстага в 1916 г. на дополнительных выборах в силезском Райхенбахе. Эдуард Давид поддержал его в предвыборной борьбе.