Осенью 1903 года Сталина высылают на три года в Восточную Сибирь, в село Новая Уда Балаганского уезда Иркутской губернии. 27 ноября 1903 года Сталин прибывает на место ссылки.
В ссылке Сталин оставался недолго. 5 января 1904 года Сталин бежит из ссылки. В феврале 1904 года Сталин снова на Кавказе.
ПОЧТИ два года Сталин пробыл в тюрьме и ссылке. Эти годы были годами дальнейшего нарастания революционного подъема в стране. За это время состоялся II съезд РСДРП, закрепивший победу марксизма над «экономизмом «. Но на смену старым, разбитым партией оппортунистам, «экономистам» выступают новые оппортунисты, меньшевики. После съезда разгорается ожесточенная борьба Ленина, большевиков против меньшевиков, их оппортунистических идей, их раскольнических и дезорганизаторских действий.
Решающая роль в деле защиты позиций большевизма на Кавказе, в пропаганде и развитии идей Ленина принадлежала выходившему под редакцией Сталина органу Кавказского союза РСДРП - «Пролетариатис Брдзола», достойной преемнице «Брдзолы».
Сталин с первых шагов первой русской революции решительно отстаивает и проводит ленинскую стратегию и тактику в революции, ленинскую идею
Под руководством Сталина IV большевистская конференция Кавказского союза РСДРП (ноябрь 1905 г.) выносит решение об усилении борьбы за подготовку и проведение вооруженного восстания, за бойкот царской Думы, за развертывание и укрепление революционных организаций рабочих и крестьян - Советов рабочих депутатов, стачечных комитетов, революционных крестьянских комитетов. Сталин разоблачал и громил меньшевиков как противников революции и вооруженного восстания. Он неуклонно готовил рабочих к решительному бою с самодержавием. По всему Закавказью распространилось пламя революционного пожара. Еще III съезд партии в предложенной Лениным резолюции «По поводу событий на Кавказе» особо выделил деятельность большевистских организаций Закавказья как «наиболее боевых организаций нашей партии» и призвал всю партию к оказанию им всемерной поддержки.
В декабре 1905 года Сталин едет в качестве делегата от закавказских большевиков на первую Всероссийскую большевистскую конференцию в Таммерфорс (Финляндия). На Таммерфорсской конференции впервые лично встретились Ленин и Сталин.
Сталин - активный участник IV съезда РСДРП (Стокгольм, апрель 1906 г.), на котором он вместе с Лениным отстаивал против меньшевиков большевистскую линию в революции.
В апреле-мае 1907 года состоялся V (Лондонский) съезд РСДРП, закрепивший победу большевиков над меньшевиками. Сталин - активный участник съезда.
Царизм чувствовал, что в лице Сталина он имеет дело с крупнейшим революционным деятелем, и всячески стремился лишить Сталина возможности вести революционную работу. Аресты, тюрьма и ссылка следовали друг за другом. С 1902 до 1913 года Сталин арестовывался семь раз, был в ссылке шесть раз, бежал из ссылки пять раз. Не успевали царские опричники водворить Сталина на новое место ссылки, как он вновь бежит и снова на «воле» кует революционную энергию масс. Только из последней, туруханской, ссылки Сталина освободила февральская революция 1917 года.
С июня 1907 года начинается бакинский период революционной деятельности Сталина. Вернувшись с V (Лондонского) съезда РСДРП, Сталин оставляет Тифлис и по воле партии обосновывается в Баку - самом крупном промышленном районе Закавказья и важнейшем центре рабочего движения в России. Здесь он ведет кипучую работу по сплочению бакинской организации вокруг лозунгов Ленина, по завоеванию рабочих масс под знамя большевизма. В мрачную ночь столыпинской реакции пролетарский Баку представляет невиданное зрелище: развертывается пролетарская борьба, на всю Россию гремит голос сталинского детища - легальных большевистских газет. «Последние могикане массовой политической стачки!» [
25 марта 1908 года Сталина арестовывают и после почти восьми месяцев тюремного заключения высылают на два года в Вологодскую губернию, в Сольвычегодск. Уже 24 июня 1909 года Сталин совершает побег из ссылки и возвращается в Баку на нелегальную работу.
23 марта 1910 года Сталина вновь арестовывают в Баку и после полугодового тюремного заключения отправляют обратно в ссылку в Сольвычегодск. Находясь в ссылке, Сталин устанавливает связь с Лениным, пишет письмо в ЦК в конце 1910 года, в котором целиком поддерживает ленинскую тактику партийного блока сторонников сохранения и укрепления нелегальной пролетарской партии, резко бичует «тухлую беспринципность» Троцкого, выдвигает план организации работы партии в России.