Характерно, что Бесо уже, безусловно, считал себя грузином и лишь помнил о своем осетинском происхождении. Сосед Сталина Нико Тлашидзе так описал его отца: «Он был среднего роста, смуглый, с большими черными усами и длинными бровями, выражение лица у него было строгое, он всегда ходил мрачный… носил короткий карачогельский архалук и длинную карачогельскую черкеску, опоясывался узким кожаным поясом, надевал сапоги, заправляя шаровары в голенища, шапку носил с козырьком». Другой сосед, Давид Папиташвили, оставил такой портрет Бесо Джугашвили: «Был выше среднего роста и худощав. Волосы у него были черные, носил усы и бороду… У него не было ни одного седого волоса. В молодости наш вождь внешне очень походил на своего отца. Черты характера и внешность Иосиф, действительно, унаследовал у Бесо. И в юные годы носил и усы, и бороду, очевидно, для солидности, и лишь позднее сохранил одни усы.
Мать Сталина Екатерина (Кеке) была дочерью крепостных крестьян князей Амилахвари. Ее отца звали Георгий (Глах, Габриэль) Геладзе (Гелашвили). Он был выходцем из района Казбеги в Южной Осетии и жил в селении Свенети вблизи Гори, а затем переселился в предместье Гори Гамбареули. По профессии Глах был то ли гончаром, то ли кирпичником, а в Гамбареули переквалифицировался в садовники. Его жена, бабка Сталина, Мелания Хомезурашвили, также была крепостной князей Амилахвари. В Гамбареули в 1856 году родилась Екатерина Геладзе. В 1864 году она вместе с семьей переселилась в Гори. Родители вскоре умерли, и Екатерина вместе с другими детьми воспитывалась в семье брата матери, Петра Хомезурашвили. Там познакомилась с Виссарионом Джугашвили и в 1874 году вышла за него замуж. К тому времени отец Сталина уже успел открыть собственную мастерскую. Отец и мать сознавали себя грузинами, и грузинами сознавали себя и их дети, в том числе и Иосиф.
Бесо и Кеке поженились 17 мая 1874 года, а первый ребенок Михаил родился 14 февраля 1875 года. Очевидно, он был зачат сразу после свадьбы. Первенец прожил лишь неделю и скончался 21 февраля. Его восприемником (крестным отцом) стал Шалва Мачабели, крестьянин, очевидно, из бывших крепостных князей Мачабели.
Второй сын у Бесо и Кеке Джугашвили появился на свет 24 декабря 1876 года. Его назвали Георгием. Крестным отцом был горийский виноторговец Яков Эгнатошвили. Георгий прожил недолго и 19 июня 1877 года скончался от кори.
Третий сын, Иосиф, родился 6/18 декабря 1878 года и остался единственным ребенком у своих родителей.
По воспоминаниям ученика Виссариона Джугашвили Давида Гаситашвили, «среди людей нашего ремесла Бесо жил лучше всех. Масло дома у него было всегда. Продажу вещей он считал позором». Это было около 1880 года. Но уже через 5–6 лет взгляды и образ жизни Бесо сильно изменились. Он стал страдать запоями.
Можно предположить, что между родителями Сталина произошел какой-то серьезный конфликт где-то около 1883 года. Возможно, Виссарион встретил другую женщину и не стал перевозить жену и сына в столицу Закавказья. Предполагают и другие причины разрыва: увлечение Бесо вином или увлечение Кеке другим мужчиной. Кроме того, жизнь в Тифлисе была значительно дороже, чем в Гори, и у Бесо могло не быть достаточно денег, чтобы содержать семью в Тифлисе. Из-за отъезда мужа в Тифлис Кеке с сыном в 1883–1893 годах вынуждена была сменить не менее десяти адресов. У семьи явно не хватало денег на то, чтобы снять более или менее приличную квартиру.
Во второй половине 80-х годов Бесо пил уже очень крепко, и супруге не раз приходилось искать дома пятый угол. А вот сына, похоже, он никогда не бил. Во всяком случае, Сталин утверждал впоследствии, что отец всегда относился к нему хорошо. По воспоминанию Котэ Чарквиани, сына священника Христофора Чарквиани, у которого семья Джугашвили снимала квартиру в 1886–1887 годах, «дядя Бесо с каждым днем сворачивал с пути, начал пить, бывали неприятности с тетей Кеке. Бедная тетя Кеке! Входила, бывало, к нам и изливала душу с бабушкой. Жаловалась, что дядя Бесо уже не содержит семью».
В шестилетнем возрасте из-за ушиба у Сосо случилось гнойное воспаление локтевого сустава левой руки. В результате локтевой и плечевой сустав атрофировались. Сухорукость не позволяла Сталину играть во многие детские игры, ограничивала его общение со сверстниками, что он болезненно переживал.
Эта детская травма закрыла Иосифу путь к труду крестьянина, ремесленника или рабочего. Мальчик рано должен был осознать, что без образования он никак не сможет преуспеть в жизни.