Казалось бы, все кончено, от партийной работы он отлучен, надо переквалифицироваться в учителя. И тогда Иосиф решается на последний шаг – апеллировать к вышестоящему органу, благо, к тому времени на Кавказе таковой появился. В 1903 году состоялся Первый съезд кавказских социал-демократов, где было принято решение об образовании Кавказского Союза РСДРП, руководящим органом которого стал Союзный Комитет. Самым старшим и уважаемым членом комитета был один из основателей грузинской социал-демократии М.Г. Цхакая, находившийся в то время в глубоком подполье.
Разыскав Цхакая через знакомых, Иосиф обратился к нему с просьбой о свидании. На этой встрече он рассказал все о своей революционной работе, о ситуации в Батуме и попросил помощи, а также предложил свои услуги для работы на Комитет. Цхакая дал ему литературу о Втором съезде партии и посоветовал «отдохнуть», что было не лишним, поскольку, по свидетельству видевших его в то время знакомых, Иосиф выглядел утомленным.
Отдых длился два месяца – все это время Комитет проверял Джугашвили. Только убедившись, что слухи о его провокационной деятельности не подтверждаются, его снова привлекли к работе. Но в Батум он уже не вернулся. В то время резко усилилась деятельность социал-демократов в деревнях и маленьких городках, и Джугашвили отправили на работу в Имеретино-Мингрельский комитет. Так что теперь он уже был деятелем не городского, а губернского масштаба. Но ненадолго: летом 1904 года, когда после очередной волны арестов большая часть краевого комитета оказалась за решеткой, Цхакая кооптировал в состав комитета Кобу и Каменева. Так Джугашвили стал одним из лидеров социал-демократического движения на Кавказе.
Теперь жизнь его состояла из постоянных разъездов. Тифлис, Баку, потом Кутаисская губерния, где во второй половине 1904 года появилось множество мелких организаций. В то же время в верхах шла острая борьба между большевиками и меньшевиками, и Коба поставил весь свой талант пропагандиста на службу большевикам.
Конец года оказался чрезвычайно «горячим», рабочий протест явно перешел в какую-то новую фазу, и назревали серьезные события. В Баку шла мощнейшая забастовка на нефтяных промыслах, которая длилась три недели и окончилась подписанием первого в истории России коллективного договора между работниками и хозяевами. В Тифлисе, как и по всей стране, либеральная оппозиция выступала с требованием реформ, причем выступления эти проходили в весьма оригинальной форме: в то время всю Россию охватила эпидемия банкетов, на которых принимались петиции с либеральным содержанием. Что бы ни думали по поводу такой формы «протеста» революционеры, но использовали эти банкеты, как и любые скопления людей, для своей пропаганды. Естественно, Иосиф не мог пропустить такую возможность, тем более что он к тому времени был уже достаточно искусным политиком, отточив язык во внутрикомитетских спорах. Но скоро всем стало не до банкетов.
1905 год начался на Кавказе, как и по всей стране, митингами и демонстрациями. 23 января в Тифлисе состоялась первая массовая демонстрация, окончившаяся грандиозной дракой ее участников с городовыми и казаками. Попутно произошел окончательный «развод» между большевиками и меньшевиками. А в начале января прошла целая волна арестов, в результате которой в Тифлисском комитете в большинстве оказались меньшевики. Тогда большевики проявили «ленинское» понимание партийной дисциплины (ведь известно, что Ильич подчинялся большинству, только если был с ним согласен) – они спрятали партийную библиотеку и кассу, а также типографию, отказавшись подчиниться неугодному им большинству.
Итак, Тифлис был охвачен рабочими выступлениями, в Баку же события приняли иное направление. В начале феврале в центре города армянин убил мусульманина. Мусульмане, не дав себе труда разобраться и найти преступника, просто-напросто прикончили нескольких подвернувшихся под руку армян. К ночи весь город был охвачен взаимной охотой, получившей позднее название армяно-татарской резни (татарами в то время называли вообще мусульман). Для усмирения населения пришлось вызывать войска. Естественно, социал-демократы не остались в стороне от событий, они пытались защищать армян, но, что интереснее, под шумок их боевики захватывали оружие и типографский шрифт.