Для Сталина внутрипартийная борьба, а точнее борьба против меньшевиков, стала одним из главных направлений всей его политической деятельности. Можно сказать, что именно этот период заложил в нем свое собственное понимание многих партийных принципов. У него сложилось убеждение, что внутрипартийная борьба, борьба с политическими оппонентами — явление естественное и неизбежное. Еще большее значение, на мой взгляд, приобрел главный вывод, сделанный им на основе опыта внутрипартийных баталий, — с политическими противниками надо искать не компромиссов, общих точек соприкосновения позиций, а вести курс на то, чтобы добиться их полного разгрома. В дальнейшем, когда поле и масштабы политической деятельности Сталина стали неизмеримо большими, такое понимание смысла и методов борьбы со своими противниками он не только сохранил, но и развил чуть ли не до универсального уровня.
Естественно, Коба активно участвовал в политических дебатах, в особенности по вопросу проведения съезда партии. И поскольку сторонники меньшинства противились созыву съезда и решили взамен него провести свою собственную конференцию, большевики взяли курс на проведение собственного съезда. В этой обстановке Коба первостепенное внимание обратил на практические организационные меры по выполнению задач, связанных с проведением съезда. Уже с тех времен, подобно длинному шлейфу, видится его склонность сочетать меры политического и пропагандистского характера с организационными шагами. В дальнейшем это ценное качество и предопределило его успехи в схватках со своими оппонентами, которые, на первый взгляд, располагали огромными преимуществами перед ним. При непосредственном участии Кобы Кавказский союзный комитет и проведенная в ноябре 1904 года конференция кавказских комитетов высказывается за проведение III съезда партии. Акцент при этом делался на то, чтобы местные партийные организации последовательно проводили в жизнь тактические и организационные принципы большевизма.
Неудивительно, что такая линия встретила резкий отпор со стороны меньшевиков, имевших значительный перевес в большинстве партийных организаций Кавказа. Под несомненным воздействием Кобы Кавказский союзный комитет принял решение о роспуске Бакинского комитета (июнь 1904 г.) Коба лично отправился тогда в Баку, чтобы обеспечить выполнение указанного решения. Несколько в иной форме, но по существу то же самое произошло и с Тифлисским комитетом, руководство которого во главе с С. Джибладзе и Н. Рамишвили отказалось подчиниться решению Кавказского союзного комитета и заявило о выходе из кавказского союза РСДРП (нечто вроде федерации партийных комитетов кавказского региона). Вполне в духе бескомпромиссной и наступательной стратегии и тактики, которыми руководствовался Коба, было принято решение и о роспуске Тифлисского комитета. Причем характерно то, что это решение мотивировалось требованиями соблюдения устава партии:
Примерно к этому периоду относится и установление заочного (письменного) контакта Сталина с Лениным. (Не считая тот, о котором уже шла речь выше). В письме, написанном Кобой из Кутаиси находившемуся в Лейпциге М. Давиташвили он критиковал позицию Г.В. Плеханова как лидера меньшевиков и писал: