В 1921 году судьба мальчика резко изменилась. Вспомнив о старшем сыне, Сталин решил забрать Якова в Москву. В это время второй его жене, Надежде Аллилуевой, было всего 20 лет. Пасынок был всего на шесть лет младше мачехи… Впрочем, между собой они общались довольно ровно. Попав из провинции в столицу, Яков чувствовал себя очень неуютно. Он жил на диване в комнате для гостей. Из-за того что Яков почти не говорил по-русски, его успехи в школе были посредственными. Зато он быстро стал лидером в другом: побеждал во всевозможных шахматных турнирах и был одним из лучших школьных футболистов.
Красивый, стройный, подтянутый, он обращал на себя внимание одноклассниц. Кира Политковская, племянница Надежды Сергеевны Аллилуевой, хорошо запомнила это время: «Девочки все очень влюблялись в него. А у него такой был добрый характер, что он как-то не мог отказать поухаживать или там грубо отказать. У него этого не было. К нему все девушки лезли, даже не зная, что он Яков Джугашвили, особенно этого никто и не знал».
По окончании школы, вопреки настояниям отца, Яков отказался поступать в институт. Вместо этого он решил жениться на Зое Гуниной, слушательнице курсов английского языка из подмосковного города Дмитров, которой в то время едва исполнилось 16 лет. Естественно, обе семьи были против такого раннего брака. Но, видимо, для Якова Зоя была не просто юношеским увлечением. И девятнадцатилетний юноша, не находя понимания у родных, решил покончить с собой. Неизвестно, где он раздобыл пистолет. Но однажды ночью на кухне кремлевской квартиры прогремел выстрел. Яков целился в сердце, но промахнулся и на три месяца попал в больницу. Сталин был в ярости. Он ни разу не навестил Якова в больнице, а Надежде Аллилуевой написал в письме: «Передай Яше от меня, что он поступил, как хулиган и шантажист, с которым у меня нет и не может быть больше ничего общего».
Яков оказался не меньшим упрямцем, чем его отец. После выхода из больницы он женился на Зое и уехал с ней в Ленинград без всякого родительского благословения. Они прожили там четыре года. Яков устроился работать электриком, но его зарплаты еле-еле хватало на то, чтобы сводить концы с концами. Родившаяся в 1929 году девочка умерла, не прожив и года. Молодая семья не выдержала такого удара. Начались взаимные обвинения, скандалы, и в конце концов брак распался. Сталин простил сына и настоял на его возвращении в Москву. Яков снова оказался в знакомой квартире. Но скрытый «бунт против отца» (именно так воспринимал его попытки стать самостоятельным Сталин) продолжался.
В 1930 году Яков Джугашвили поступил в институт инженеров железнодорожного транспорта. Сталин узнал об этом уже после того, как были сданы все экзамены, и был приятно удивлен: сын наконец-то взялся за ум. Кроме того, в отличие от Василия, Яков не пытался пользоваться положением отца. В 1936 году, после окончания МИИТ, Яков получил распределение на ЗИЛ. Он работал с удовольствием, добросовестно. Сердечная рана, видимо, зажила, и он начал встречаться с Ольгой Голышевой, приехавшей в Москву учиться. Однако на этот раз до свадьбы не дошло. Между Яковом и Ольгой произошла серьезная размолвка, и она уехала к родителям, несмотря на беременность. Сына Яков так и не увидел, хотя настоял, чтобы ему дали фамилию Джугашвили.
В 1937 году Яков поступил в артиллерийское училище. С первого курса его перевели сразу же на четвертый, учитывая высшее образование. Преподаватели отзываются о нем как о хорошем курсанте. Единственная проблема, о которой упоминают характеристики Якова Джугашвили, – английский язык. В 1940 году он получает по этому предмету неудовлетворительную оценку (двойку, попросту говоря). Этот факт не имел бы особого значения, если бы в немецких документах, характеризовавших пленного Якова Джугашвили, не говорилось, что он свободно владеет тремя иностранными языками: английским, немецким и французским… Но об этом позже.
Во время учебы (в 1938 году) Яков заключает еще один брак. На этот раз его жена – артистка балета Юлия Мельцер. Активная, светская, обаятельная Юлия ввела Якова в круг интереснейших людей того времени. Сталину невестка не понравилась. То ли его не устраивала ее национальность, то ли прошлое (Мельцер уже была замужем), то ли сработал известный стереотип относительно актрис… Так или иначе, с молодой семьей Иосиф Виссарионович практически не общался, – даже после рождения внучки Гали. А после пленения Якова Юлия Мельцер была арестована. Ее обвиняли в том, что муж попал в плен. Юлия просидела в куйбышевской тюрьме полтора года. На свободу вышла только после того, как было получено известие о смерти Якова Джугашвили. Сталин даже не извинился перед невесткой за несправедливое осуждение. Единственное, что он сделал – позволил воссоединиться матери и дочери (внучку великий вождь очень полюбил).