В марте 1934 г. Иосип вышел на свободу, а через полгода партия направила его в Москву для работы референтом в Балканском секретариате Коминтерна. 4 года Тито находился в Москве. За это время у него произошли перемены в личной жизни – он второй раз женился. Его женой стала немка Люция Боуэр (Иоганна Кениг). Но семейное счастье оказалось недолгим. В 1937 г. по приказу Сталина Люция была арестована «за сотрудничество с гестапо» и исчезла в застенках НКВД, а самого Тито Сталин, убедившись в его преданности и деловых качествах, назначил Генсеком ЦК КПЮ и отправил на родину. За партийными делами Тито не забывал и о личных. У него родился сын от одной любовницы, а вскоре он завел и другую.
А ситуация на Балканах тем временем стала взрывоопасной, особенно после убийства короля Александра. Правительство Югославии стало придерживаться прогерманской ориентации. Это наносило ущерб интересам Великобритании и СССР. Подобное нарушение равновесия не могло долго сохраняться, и 27 марта 1941 г. в Югославии произошел государственный переворот, в результате которого новое правительство разорвало все договоренности с Германией и подписало пакт о ненападении и дружбе с СССР. Это обстоятельство привело к агрессии со стороны Германии, Венгрии, Италии и Болгарии. 17 апреля Югославия капитулировала, король Петр бежал, а в Загребе ставленник Германии Анте Павелич объявил о создании независимого государства хорватов. Хорваты-католики развернули в стране кровавый террор, вылившийся в настоящую резню сербов, евреев, цыган. В этом хорватам помогали мусульмане. Дело доходило до того, что оккупанты вынуждены были спасать население сербских деревень. Насилие хорватов вызвало ответную реакцию, приведшую к гражданской войне. Поначалу в этой войне коммунисты не играли главной роли, но вскоре маленькая партизанская армия Тито, вооруженная легким стрелковым оружием, почти без боеприпасов, без поддержки каких-либо союзников двинулась в Боснию, в самый центр государства Павелича. Партизаны-коммунисты нашли здесь поддержку местного населения, в первую очередь боснийских сербов. Это объяснялось тем, что Тито поднялся над религиозной и этнической рознью, провозгласив общенациональную патриотическую идею: враг на нашей земле один, это немцы, и изгнать их можно только общими усилиями. После победы партизан на р. Сутьески он стал народным героем. Осенью 1942 г. в штабе Тито было провозглашено Антифашистское вече народного освобождения Югославии – зародыш будущего правительства. На первый план здесь вышел сторонник короля Петра полковник Михайлович, поддержанный союзниками по антигитлеровской коалиции (включая и Сталина).
Совсем иначе к Тито отнеслись немцы. За его голову была обещана награда в 100 тысяч марок золотом. Тито считали главным врагом Германии на Балканах. Тем не менее рейхсфюрер СС Гиммлер отзывался о нем следующим образом: «Он наш враг, но мне хотелось бы, чтобы у нас в Германии был десяток таких Тито – лидеров, обладающих огромной решимостью и крепкими нервами». Вместе с успехами Тито росло и доверие к нему союзников. Летом 1943 г. Сталин и Черчилль направили в Югославию военные миссии. Теперь они целиком поддерживали Тито. В ноябре ему присвоили звание маршала, чем он чрезвычайно гордился. Появилась у него и новая любовница, секретарша Зденка Паунович, годившаяся маршалу в дочки.
В сентябре 1944 г. Тито тайно вылетел в Москву. Состоялась встреча со Сталиным, кстати, довольно прохладная. Однако все же была достигнута договоренность об участии советских частей в освобождении восточной Югославии. Следующая их встреча состоялась в апреле 1945 г. Она была очень теплой и завершилась подписанием договора о дружбе и взаимопомощи. Сталин устроил в честь Тито официальный обед, поскольку еще в марте тот занял официальные посты премьер-министра, министра обороны и верховного главнокомандующего.
Военные действия в Югославии завершились уже после 9 мая 1945 г. Тито стал одним из немногих иностранцев, награжденных орденом «Победа». Сразу по окончании военных действий маршал, освобождаясь от возможных конкурентов, провел в стране политическую чистку и приступил к строительству югославского социализма. Ликвидировав монархию, Тито создал федерацию из республик: Сербии, Хорватии, Словении, Македонии, Боснии, Черногории и Герцеговины. Религиозные и национальные противоречия жестко подавлялись коммунистической диктатурой. За образец был взят Советский Союз. В то же время у Тито стали портиться отношения с Западом, обусловленные в первую очередь территориальными претензиями Югославии к итальянцам, и резко обострились отношения со Сталиным.