Отбыв ссылку, в 1892 г. Пилсудский вернулся в Польшу. Почти сразу он включился в подпольную работу созданной в это же время Польской социалистической партии (ППС), занявшись политической публицистикой, а затем изданием партийной газеты. Здесь он в полной мере проявил сильный организаторский талант при «раскрутке» подпольного издания, налаживании производственного процесса, частых перебазированиях, добывании бумаги и распространении. В этом качестве на него обратил внимание и выделил «патриарх» ППС С.Мендельсон, посетивший Польшу. К середине 1890-х гг. Пилсудский прочно вошел в руководящий состав партии. Как один из ведущих лидеров в' 1900 г. он был арестован царскими властями. Симуляция невменяемости привела его в петербургскую психиатрическую больницу, откуда благодаря поддержке одного из врачей он совершил побег.
Логика непримиримой борьбы с Российской империей определила позицию польских социалистов в русско-японской войне. В 1904 г. делегация ППС во главе с Пилсудским посетила Токио, предложив японскому командованию организацию диверсий и терактов в обмен на помощь в формировании польской национальной армии. Японская сторона предоставила некоторые субсидии, однако, прислушавшись к советам политических противников ППС во главе с личным врагом Пилсудского Р.Дмовским, отказались от активного разыгрывания «польской карты».
На рубеже XIX-XX вв. в политической жизни Королевства Польского (часть Польши, отошедшая к России после разделов страны между тремя монархиями) доминировала консервативная «национальная демократия» – эндеция, занимавшая процаристские позиции. Представляя социальные интересы крупных землевладельцев и буржуазии, ориентированной на российский рынок, лидеры эндеков – З.Балицкий, Я.Поплавский, Р.Дмовский – сознательно ограничивали польские национальные требования расширением автономии в составе империи, стремились максимально интегрироваться в российскую политическую систему. В Познани и Силезии – «землях прусского захвата» – эндеция активно пропагандировала антигерманские настроения, особенно в рабочей среде. Добиваясь объединения всех польских земель под властью романовской династии, эндеция считала царскую монархию мощным противовесам «антиславянских» устремлений Германии и надежным гарантом аристократической социальной иерархии.
Разумеется, эндеки враждебно относились к революционно-социалистическому движению и активно участвовали в подавлении революции 1905-07 гг., сотрудничая с царской администрацией. Важную роль сыграл в этом приблизительный польский аналог «черной сотни» – Национальный рабочий союз (НЗР), осуществлявший теракты против революционеров и еврейские погромы.
Противоположный лагерь – Польская социалистическая партия (ППС) – развивался по двум направлениям. «Старая ППС» была создана весной 1893 г. на основе марксистских организаций «Второго Пролетариата» и Союза польских рабочих – в целом продолжавших традицию «Великого Пролетариата» 1880-х гг., марксистского и интернационалистического по идеологии, склонного к терроризму в тактике. Спустя короткое время «старая ППС» преобразовалась в Социал-демократию Королевства Польского и Литвы – партию раннебольшевистского типа (впоследствии СДКПиЛ стала базовой структурой формирования польской компартии). Практически одновременное создание «новой ППС» было стимулировано деятельностью Заграничного союза польских социалистов, возглавляемого С. Мендельсоном. Приверженность марксистскому социализму, социальная ориентация на рабочий класс сочетались в «новой ППС» с идеологией «гминного» – общинного – социализма в духе Я.Домбровского и французских прудонистов, идеалом солидарного общества и самоуправляемой республики (снова Речь Посполита), первоочередным выдвижением задач национально-освободительной борьбы. Наряду с С.Мендельсоном, С.Грабским, С.Войцеховским, к лидерам партии относился Ю.Пилсудский. В начале XX в. ППС развернула подготовку к вооруженной борьбе. Интенсивно формировались боевые дружины, преимущественно из рабочих.
Во время первой русской революции Пилсудский возглавил военизированную структуру ППС. Боевые дружины социалистов совершили ряд терактов и экспроприации (крупнейшей из них – «безданской операцией» – Пилсудский руководил лично). На основе боевой организации Пилсудского в польском социалистическом движении оформилось крыло, сделавшее упор на вооруженную борьбу и самоизоляцию польского освободительного движения от общероссийского.