После возвращения из ссылки в 1892 году Пилсудский возобновил подпольную деятельность в Вильно, а в 1893 году – Польской социалистической партии (ППС). Затем он женился и поселился в Лодзи. Там он начал издавать газету «Рабочий». В 1900 году полиция захватила подпольную типографию, где печаталась газета. Пилсудский был арестован, в тюрьме симулировал сумасшествие и, будучи помещен в психиатрическую лечебницу, бежал оттуда за границу. Некоторое время он жил в Лондоне, а затем поселился в австрийском Кракове. В 1905 году, во время русско-японской войны, Пилсудский отправился в Токио, чтобы договориться о финансировании японцами восстания в Польше, однако поездка закончилась безрезультатно. Он возглавил радикальное крыло ППС, члены которой организовали несколько экспроприаций в Варшаве и других польских городах с целью добыть средства в партийную кассу. Таким образом Пилсудский отказался от прежнего следования исключительно ненасильственным методам борьбы. В 1910 году он учредил в Галиции военизированную организацию «Стрелецкий Союз». С началом Первой мировой войны на базе «Стрелецкого Союза» он сформировал Польский легион из трех бригад, который влился в состав австро-венгерской армии. Сам он возглавил 1-ю бригаду и осуществлял общее руководство легионом. В обмен Австрия и Германия согласились в случае победы признать независимость Польши. В конце 1916 года, после формального провозглашения Германией и Австро-Венгрией независимости оккупированной ими русской Польши, Пилсудский был назначен начальником военного департамента (военным министром) в польском правительстве, не имевшем, однако, реальной власти.
В июле 1917 года Пилсудский отказался дать свое согласие на то, чтобы польские легионеры приносили присягу германскому императору, был арестован и 15 месяцев провел в магдебургской крепости. Он был освобожден 9 ноября 1918 года, сразу после отречения от престола императора Германии Вильгельма II. 11 ноября Регентский совет Польши передал ему военную, а 14 ноября – и гражданскую власть. Вождь польского национального движения возглавил в Варшаве временное польское правительство, которое 16 ноября 1918 года объявило о восстановлении Польского государства. Пилсудский был назначен его «начальником» (до проведения президентских и парламентских выборов) и главнокомандующим вооруженными силами. Его поддержали ППС и другие польские партии, а также члены созданной легионерами Польской военной организации (ПОВ). В 1919 году сторонники Пилсудского предлагали ему принять польскую корону, обосновывая это его происхождением от великого князя Довспрунга, правившего Литвой еще до Гедемина. Но и тогда, и семь лет спустя, в 1926 году, Пилсудский решительно отверг идею монархии.
В начале 1919 года из польских солдат и офицеров, служивших в армиях трех империй, Пилсудский создал вооруженные силы нового государства. Вскоре они завоевали Западно-Украинскую народную республику, образовавшуюся из украинских территорий Австрии и собиравшуюся объединиться с Украинской народной республикой, провозглашенной на украинских территориях бывшей Российской империи. Польская армия воевала также с германскими и чешскими отрядами в Силезии из-за спорных территорий и с Красной Армией в Белоруссии. Помощь вооружением и снаряжением полякам оказывали французы. В июле 1919 года поляки по приказу Пилсудского прекратили боевые действия в Белоруссии, чтобы Красная Армия могла перебросить свои силы против армий генерала Деникина. Деникина с его лозунгом единой и неделимой России Пилсудский опасался больше, чем Ленина. 21 апреля 1920 года Пилсудский заключил Варшавский договор с правительством Украинской народной республики во главе с С.В. Петлюрой. УНР признавала Галицию и Волынь частью Польши в обмен на признание Польшей правительства Петлюры единственно законной властью на Украине и обязательство оказать вооруженную помощь в борьбе с большевиками. В случае успеха предстоящей войны с Советской Россией Пилсудский надеялся иметь между ней и Польшей Украину в качестве буферного государства. 6 мая 1920 года польские и украинские войска захватили Киев. Однако контрнаступление Красной Армии и прорыв фронта конницей Буденного вынудили союзников отступить. Перешел в наступление и советский Западный фронт в Белоруссии. В конце июля Красная Армия вступила на этнически польские земли. Пилсудскому удалось сконцентрировать мощную группировку на фланге Западного фронта, наступавшего на Варшаву, и во второй половине августа в Варшавском сражении разгромить его. Войска Юго-Западного фронта были отброшены от Львова. Красная Армия отступила до Минска. За победу под Варшавой сейм 14 ноября 1920 года произвел Пилсудского в маршалы Польши.