Затем съезд приступил к организационному строительству партии. Прежде всего были распущены те организации, существование которых наряду с официально уже признанными партийными органами становилось излишним. Так, были распущены: за границей «Группа освобождения труда», «Борьба», «Союз русских социал-демократов» и в России «Южный рабочий», а единственной заграничной партийной организацией была признана «Лига революционной русской социал-демократии», в которую и должны были войти члены всех остальных распущенных заграничных групп. Далее II съезд утвердил решение І съезда партии о возложении обязанности по объединению и руководству деятельностью всех организаций на Центральный Комитет и на Центральный руководящий орган партии, причем избрал последним газету «Искру»; засим для согласования деятельности Центрального Комитета и Центрального Органа был создан постоянно действующий «Совет партии» из 5 членов, и, наконец, самой высшей инстанцией был признан партийный съезд. Программа партии была принята единодушно, но вопросы партийной организации вызвали упорную борьбу различных течений. Особую позицию на этом съезде заняли представители Бунда, которые не соглашались на признание Бунда автономной частью партии (по решению І съезда) и требовали, чтобы ІІ съезд признал бы Бунд единственным представителем еврейского пролетариата и чтобы Бунд был объединен с партией лишь на федеративных началах. Так как съезд на эти требования не согласился, то делегаты Бунда ушли со съезда, и, таким образом, произошло временное отделение Бунда от Рос. Соц.-Дем. Раб. партии. В заключение обзора деятельности II съезда необходимо упомянуть, что на нем были впервые выработаны в целом ряде резолюций руководящие указания для всей партии по вопросам партийной тактики.
Однако и этот съезд в деле прекращения партийных раздоров не оправдал возлагавшихся на него надежд. Наоборот, разногласия, начавшиеся на самом съезде, скоро проникли во все партийные организации. Разделив сплоченное доселе ядро «искровцев» на «большинство» и «меньшинство», они еще на самом съезде положили начало жестокой фракционной борьбе из-за состава центральных учреждений партии и, распространившись на всю партию, привели ее к полному расколу.
Главных предметов спора было два. Первый главнейший был § 1 партийного устава, определявший принадлежность к партии. В проекте Мартова, родоначальника «меньшевиков», этот § гласит: «Членом Рос. Соц.-Дем. Раб. Партии считается всякий признающий ее программу, поддерживающий партию материальными средствами и оказывающий ей регулярное личное содействие под руководством одной из организаций». Проект Ленина, представителя большевиков, отличался от проекта меньшинства тем, что требовал от члена партии (кроме признания программы и материальной поддержки) личного участия в одной из партийных организаций. Хотя сам по себе этот § практического значения в жизни партии никогда не имел, тем не менее, однако, большое значение имели разногласия, обнаружившиеся при его обсуждении и породившие два направления в русской социал-демократии: «большевистское» и «меньшевистское», которые и существуют до настоящего времени.
Второй пункт разногласий был вопрос о централизации партии. Большевики требовали большей централизации, настаивали на больших полномочиях Центрального Комитета, который, сосредоточивая все лучшие силы партии, мог бы придать всей партийной работе большую выдержанность и продуктивность, и подчеркивали поэтому необходимость строгой партийной дисциплины и разделения труда как в каждой отдельной организации, так и во всей партии в целом. Напротив, меньшевики полагали, что эта централизация может совершиться лишь медленно и постепенно, и видели опасность для самодеятельности местных организаций в наделении Центрального Комитета большими полномочиями по уставу партии. Хотя и эти указанные разногласия признавались самими фракциями слишком незначительными, чтобы помешать совместной работе, однако фракционная борьба возгорелась с такой силой, что затормозила не только объединение партии, но и работу отдельных организаций и внесла в партию большую дезорганизацию.