Известный историк партии 30-х годов Емельян Ярославский в 1939 году написал книгу о юных годах И.В. Сталина. В ней он приводит два рапорта помощника инспектора Гермогена С. Мураховского за период с ноября 1896 года по март 1897 года, которые говорят о том, что у Сосо еще не было опыта конспирации: «Джугашвили, оказалось, имеет абонементный лист из «Дешевой библиотеки» (Так презрительно монахи семинарии называли библиотеку «Общества распространения грамотности» г. Тифлиса), книгами которой он пользуется. Мною Джугашвили Иосиф уже был предупрежден по поводу посторонней книги — «93-й год» В. Гюго. Сегодня я конфисковал у него сочинение В. Гюго «Труженики моря», где нашел и названный лист». На донесении надпись: «По распоряжению ректора — продолжительный карцер и строгое предупреждение». И красноречивая запись от марта 1897 года того же помощника инспектора Мураховского: «В 11 часов вечера мною отобрана у Джугашвили Иосифа книга «Литературное развитие народных рас» Летурно, взятая им из «Дешевой библиотеки». В книге и абонементный листок. Читал названную книгу Джугашвили на церковной лестнице. В чтении книг из «Дешевой библиотеки» названный ученик замечается уже в тринадцатый раз».
По воспоминаниям Иремашвили, «тайно, на занятиях, на молитве и во время богослужения, мы читали «свои» книги. Библия лежала открытой на столе, а на коленях мы держали Дарвина, Маркса, Плеханова и Ленина печатавшегося тогда под псевдонимом Тулин».
Наряду с «Дешевой библиотекой» ученики пользовались книгами бывшего народника, хозяина книжного магазина За-хария Чичинадзе: «Для того, чтобы достать легальные, но запрещенные в семинарии книги, — вспоминал С. Девдориа-ни, — мы обращались к книжнику (букинисту) Захару Чичинадзе. У него была хорошая библиотека. В его библиотеке (с помощью его книг) выросло первое поколение грузинских социал-демократов».
Революционная деятельность, в которую с головой окунулся Коба (кстати, и этот псевдоним им был взят из литературы — так звали героя книги Казбеги «Отцеубийца»), не остудила его страсти к чтению. Наоборот, он время в тюрьмах и ссылках не теряет, но тратит его на самообразование и пропаганду идей коммунизма.
Сидевший вместе с Иосифом Джугашвили в бакинской Баиловской тюрьме эсер Семен Верещак писал впоследствии, что у Кобы всегда в руках была книга. Он приводит эпизод, когда каждого из политзаключенных узников этой тюрьмы наказали тридцатью двумя шпицрутенами за то, что те выразили свой протест против суровых условий заключения, но Сталин сорвал экзекуцию тем, что шел сквозь строй с раскрытой книгой, невозмутимо читая. «Казалось, — писал Верещак, — что если проткнуть его голову, то из нее, как из газового резервуара, с шумом полетит весь «Капитал» Карла Маркса. Марксизм был его стихией, в нем он был непобедим… Вообще же в Закавказье Коба слыл как второй Ленин. Он считался лучшим знатоком марксизма». И, действительно, в своих ранних работах И.В. Сталин широко цитирует такие труды Маркса и Энгельса, как «Анти-Дюринг», «Людвиг Фейербах и конец классической немецкой философии», «Манифест Коммунистической партии», «Критика Готской программы», «Восемнадцатое брюмера Луи Бонапарта», «Классовая борьба во Франции», «Гражданская война во Франции», «Нищета философии», «Революция и контрреволюция в Германии», «Недавний процесс в Кельне», «Происхождение семьи, частной собственности и государства»…
В 1936 году большевик Иван Голубев написал воспоминания о Сольвычегодской ссылке, которые так и не были напечатаны, но хранились в сталинском фонде Центрального партархива: «Мы получали довольно много художественной литературы, журналов и газет: «Русские ведомости», «Русское слово» или «Утро России», «Киевскую мысль», доставляли и «Новое время». Журналы «Новый мир», «Русское богатство», «Вестник Европы». Сборник «Знание», а, как известно, в «Знании» печатались М. Горький, Л. Андреев, Скиталец, Бунин, Гусев-Оренбургский и др.».
Все эти издания внимательно изучались И.В. Сталиным. Он проводил своеобразные семинары-политзанятия для ссыльных. Коба, по воспоминаниям Голубева, с увлечением читал исторические книги, в частности Ключевского. Поражал Коба своей осведомленностью и в вопросах художественного творчества: «Он много рассказывал о том, как работали над своими произведениями Пушкин и Толстой, собирая и изучая материал».
В опубликованных после смерти И.В. Сталина мемуарах (Рассказы о жизни. Воспоминания. М. 1968. Кн. 1. С. 247), К.Е. Ворошилов писал, что, когда он впервые встретился с Джугашвили (и жил с ним в одной комнате) в 1906 году на съезде партии в Стокгольме, молодой Коба мог на память цитировать отрывки из многих литературных произведений…