Тюремную администрацию революционеры считали передовым отрядом ненавистной им власти. Поэтому уловки, с помощью которых они продолжали вести революционную работу из застенок, организация массовых выступлений заключенных в защиту своих прав, организация побегов из тюрем и ссылок рассматривались ими как важные этапы в их борьбе против самодержавия. Эта борьба требовала определенных знаний и навыков. Во время пребывания в батумской тюрьме Джугашвили стал писать прокламации и пересылать их на волю. В кутаисской тюрьме Джугашвили писал записки политзаключенным, подбадривая их. Он стал инициатором протестов против тяжелых условий заключения. Подобные протесты были небезопасны. Властям ничего не стоило застрелить «бунтовщика» и объяснить это тем, что он напал на охрану. Во время пребывания в кутаисской тюрьме Джугашвили узнал о гибели одного из своих товарищей и первых наставников – Ладо Кецховели. Будучи заключенным в одиночную камеру в Метехском замке Тифлиса, Кецховели однажды стал выкрикивать революционные лозунги, стоя у решетки. Этого оказалось достаточно, чтобы надзиратель убил его выстрелом из винтовки.
Однако ни подобные примеры расправ, ни угрозы начальства, ни террор, осуществляемый тюремными властями с помощью уголовников, не сломили «ученика от революции». Уже через три месяца после своего прибытия в кутаисскую тюрьму Джугашвили организовал забастовку, принявшую столь серьезный оборот, что для разрешения конфликта в тюрьму прибыли губернатор области и прокурор. В результате их переговоров с Джугашвили многие требования заключенных были удовлетворены: политических заключенных отделили от уголовников, дали разрешение приобрести за свой счет тахту, чтобы не спать на цементном полу, и т. д.
9 июля 1903 г. император Николай II утвердил приговор по делу Джугашвили, в соответствии с которым ему надлежало отбыть в сибирскую ссылку на три года. Однако к этому времени бумаги о переводе Джугашвили в кутаисскую тюрьму затерялись и его тщетно искали в батумской тюрьме. Лишь 8 октября 1903 г. Джугашвили был обнаружен в тюрьме Кутаиса, откуда он был направлен под охраной в батумскую тюрьму. Оттуда его отправили в Сибирь.
А. Островский отмечал: "Когда И. В. Джугашвили покидал Батум, там заканчивался бархатный сезон. На пути к Уралу через решетку вагонного окна он впервые увидел настоящую зиму: покрытые белым снегом поля и леса, утопавшие в сугробах деревенские избы, закованные в лед озера и реки. В Сибири свирепствовали морозы, достигавшие минус 30 и более градусов… Для него, родившегося и выросшего под кавказским солнцем, зима представляла не только необычное природное явление, но и серьезное испытание. Особенно, если учесть, что на этап он был взят в демисезонном пальто, в ботинках и без рукавиц".
Из Иркутска Джугашвили доставили в уездный город Балаганск, где в это время проживали семеро политических ссыльных. По воспоминаниям одного из них, Джугашвили попытался остановиться в Балаганске, но ему было предписано ехать дальше в село Новая Уда, находившееся в 70 верстах от Балаганска.
25 декабря 1939 г. "Правда" опубликовала статью В. Иванова "Новая Уда", в которой говорилось: "Прибыв в Новую Уду, товарищ Сталин поселился в беднейшей части села – в Заболотье – у крестьянки Марфы Ивановны Литвинцевой. Убогий, покосившийся домик Литвинцевой был расположен на краю болота, в нем было две комнаты". В одной из них поселился Джугашвили.
Вскоре после прибытия в Новую Уду, Джугашвили решил бежать оттуда. Сосланный в Балаганск со своей семьей Абрам Гусинский позже вспоминал: "Ночью зимой 1903 г. в трескучий мороз, больше 30 градусов по Реомюру… стук в дверь. "Кто?"… К моему удивлению, я услышал в ответ хорошо знакомый голос: "Отопри, Абрам, это я, Сосо". Вошел озябший, обледенелый Сосо. Для сибирской зимы он был одет весьма легкомысленно: бурка легкая, легкая папаха и щеголеватый кавказский башлык. Особенно бросалось в глаза несоответствие с суровым холодом его легкой кавказской шапки на сафьяновой подкладке и белого башлыка (этот самый башлык, понравившийся моей жене и маленькой дочке, т. Сталин по кавказскому обычаю подарил им.) Несколько дней отдыхал и отогревался т. Сталин, пока был подготовлен надежный ямщик для дальнейшего пути к станции железной дороги, не то Черемхово, не то Тыреть, – километров 80 от Балаганска. Документы у него были уже. Это дни т. Сталин провел безвыходно со мной и моей семьей".