Даже наказания не отбили у него желания читать хорошие книги. Во время учебы в семинарии он писал стихи, которые печатались в газетах, а одно из них было включено в «Грузинскую хрестоматию или сборник лучших образцов грузинской словесности» (1907). О чувствах и мыслях юного Иосифа свидетельствуют его стихи (перевел с грузинского Феликс Чуев, последнее стихотворение — Вячеслав Молотов).