В Вильно Юзеф принял участие в работе нелегальной организации, в которую входили его старые друзья. Вскоре она оказалась втянута в орбиту террористической деятельности «Народной воли», готовившей покушение на Александра III. По этому делу пять человек, включая Александра Ульянова, были казнены, Бронислав Пилсудский получил 15 лет каторги, а Юзефа в целях «профилактики» выслали на 5 лет в Восточную Сибирь. Для молодого человека это стало настоящей трагедией. Однако именно там, в Сибири он состоялся как социалист и понял, что социализм в Польше может победить только в условиях независимости, которую еще нужно завоевать.
В 1892 г. Юзеф вернулся из ссылки. За время его отсутствия в Польше многое изменилось. Появились политические партии: Социал-демократическая партия королевства Польши и Литвы, стоявшая на позициях интернационализма и не выдвигавшая задачи борьбы за независимость; Лига народова Дмовского – националистическая, но считавшая главным врагом Германию, а не Россию; Польская социалистическая партия (ППС), в виленскую организацию которой под именем «Виктор» вступил Юзеф. Его первые шаги в партии начались с опубликования ряда статей в эмигрантской газете «Утро», а затем в первой партийной газете «Рабочий». На способности Юзефа вскоре обратили внимание. Он вошел в состав ЦК партии из пяти человек, а после ареста четверых 27-летний Пилсудский сосредоточил в своих руках всю власть в ППС.
В 1898 г. Юзеф женился. Жена Мария Юшкевич была старше его на 2 года, разведена и имела дочь. Тогда же семья переехала в Лодзь. Однако семейное счастье оказалось недолгим. Через 2 года Юзефа арестовали. Во время обыска на квартире полиция нашла типографию, часть тиража «Рабочего», печати и много документов ППС. Чтобы избежать заключения в страшной политической Варшавской тюрьме, ему посоветовали симулировать сумасшествие. Это помогло. Юзефа перевели больницу в Петербурге, откуда он через несколько месяцев бежал во Львов, а затем перебрался в Лондон, где находились многие деятели ППС. В 1902 г. Пилсудский в Люблине принял участие в IV съезде ППС. Его вновь избрали в ЦК. На этом съезде фактически произошел раскол партии. Сторонники Пилсудского отошли от позиций классовой борьбы, считая, что главная цель – не социализм, а создание независимой республики, и эту независимость нужно завоевать в ходе вооруженного восстания под руководством ППС.
Во время русско-японской войны Пилсудский наладил связи с японцами, надеясь создать в Японии польский легион и получить деньги для разведывательной и диверсионной работы на территории России. Легион ему создать не удалось, а за разведывательные данные японцы платили. За время войны Пилсудский получил 20 тыс. фунтов, оружие, взрывчатку. Это дало ему возможность действовать в партии самостоятельно. С началом революции 1905 г. в России ППС стала создавать боевые группы. Этим занимались как сторонники, так и противники Пилсудского. Однако группы Пилсудского занимались не только охраной демонстраций, но и террористическими акциями, главным образом грабежами банков – деньги нужны были на оружие. Подобная деятельность требовала жесткой конспирации, что делало Пилсудского практически независимым от руководства ППС. Вскоре он возглавил все боевые отряды. Для боевиков были созданы специальные курсы, огромное количество оружия переправлялось на конспиративные склады. Этим занималась Александра Щербинская, ставшая впоследствии женой Пилсудского.
В июле 1906 г. Пилсудский и его сторонники провозгласили создание «революционной фракции ППС», за что были исключены из партии. С этого момента террористическая деятельность Пилсудского усилилась: убийства полицейских и жандармов, ограбление банков. Для этих акций нужны были деньги и оружие. Вот тогда началось сотрудничество Пилсудского с австрийской контрразведкой. На территории Австро-Венгрии, в Галиции, появились легальные польские военизированные формирования: кроме боевиков революционной фракции ППС, еще и Союз активной борьбы. Их силы росли. Накануне Первой мировой войны австрийцы предоставили Пилсудскому 3 тыс. винтовок, 300 кг взрывчатки, 20 тыс. крон. Уже 6 августа 1914 г. 144 человека из офицерской школы Союза активной борьбы перешли границу России. За ними двинулись и другие польские формирования, однако их попытки поднять восстания в тылу русских войск не встретили поддержки местного населения. Вскоре эти формирования в составе австрийской армии получили название «польских легионов».