Светлана Аллилуева вспоминает, что отец относился к своему старшему сыну Якову незаслуженно холодно, и тот сильно страдал из-за этого. Яков жил в Тбилиси довольно долго, воспитывался у тётки, сестры матери, Александры Семёновны. Потом юношей, по настоянию своего дяди Алёши Сванидзе, приехал в Москву, чтобы учиться. Яков был только на семь лет моложе своей мачехи, которая много делала, чтобы скрасить его нелёгкую жизнь, ведь его мама умерла, когда мальчику было всего два года. Характер ему, видно, достался от матери, он не был честолюбивым и резким, как отец, считавший его слабым человеком.
Когда Яков решил жениться, отец не захотел слышать о браке, не желал ему помогать. Выведенный из себя самодурством отца, Яков пытался застрелиться. К счастью, пуля прошла навылет, и он остался жив, хотя долго болел. Сталин, узнав об этом, издевательски бросил ему: «Ха, не попал!» Отношения у них совсем разладились, и Яков уехал в Ленинград, жил там в квартире Аллилуевых, работал инженером, он ведь окончил в Москве институт инженеров железнодорожного транспорта.
В 1935 году Яков приехал в Москву и поступил в артиллерийскую академию. Военным он стал по желанию отца. Жил отдельно, вторично вступил в брак — первый распался. Хотя и вторая жена — Юлия Исааковна Мельцер — Сталину не понравилась. Зная это, Яков навещал квартиру отца редко и всегда с напряжением ждал его прихода домой. Они были слишком разными людьми, чтобы сойтись душевно.
Он ушёл на фронт на второй день после начала войны. Их часть отправляли в Белоруссию, территорию которой уже сжимали танковые клинья врага. Вскоре известия от него перестали поступать, и его след затерялся. Наконец, стало известно, что он попал в плен.
Старший сын Сталина оказался значительно более сильной личностью, чем думал о нём отец. Пройдя все круги ада в немецких концлагерях, он не стал предателем. Напрасно Сталин боялся, что Якова используют в пропагандистских целях. И тем не менее он дал санкцию на арест его жены Юлии, которую продержали в тюрьме до весны 1943 года, когда выяснилось, что она не имела отношения к этому несчастью, да и само поведение Якова в плену убедило, что он достойно там держался и мужественно принял смерть. У Сталина возникали подозрения, что Якова кто-то выдал, уж не причастна ли к этому Юлия?