В конце января 1921 года И. Броз переехал в село Велико Тройство, недалеко от города Беловара (Хорватия), где вместе с Пелагеей Броз они прожили четыре года. 24 декабря 1921 года у них родилась дочь, которую назвали Златицей. Родившемуся 17 ноября 1922 года сыну дали имя Хинко. Но вскоре их постигает большое горе: через семь дней после рождения умирает Хинко, а вслед за ним скончалась от дифтерии дочь Златица. Появившийся на свет 2 февраля 1924 года сын Жарко стал любимцем семьи.
Взятый на заметку полицией руководитель загребских коммунистов И. Броз вынужден был скрываться под разными псевдонимами, меняя в конспиративных целях квартиры.
Тем не менее его неоднократно арестовывают. Наконец 21 февраля 1929 года его осуждают на пять лет и семь месяцев каторги. Однако он провел в тюремных застенках в общей сложности шесть лет: вначале находился в течение двух с половиной лет в хорватской тюрьме в Лепоглаве, а затем в словенской тюрьме в Мариборе. Пелагея Белоусова-Броз вместе с сыном Жарко в уехала в Москву.
Выйдя в марте 1934 года на свободу, И. Броз активно включился в подпольную работу по возрождению партийных организаций. На IV партийной конференции КПЮ, состоявшейся в декабре 1934 года, его избрали в высший орган партии.
Твердо отстаивая необходимость консолидации рядов партии, И. Броз 2 августа 1934 года написал в ЦК КПЮ докладную записку, которую впервые подписал псевдонимом Тито, ставшим с тех пор составной частью его фамилии. Разъясняя смысл этого псевдонима, И. Броз сказал 14 октября 1946 года в ответ на вопросы американских журналистов: «Это моя подпольная фамилия… Тито в хорватском языке является одной из фамилий и не имеет никакого другого значения». В конспиративных целях он пользовался и другими псевдонимами.
18 сентября 1935 года Политбюро ЦК КПЮ рекомендовало его политическим референтом в Балканский секретариат Коминтерна. В Москву Иосип Броз прибыл 21 февраля 1935 года из Праги с австрийским паспортом на имя Йозефа Гофмахера. Сотрудники Коминтерна знали его как Фридриха Фридриховича Вальтера. Этим псевдонимом он подписывал документы, которые представлял в Коминтерн.
11-летнего сына Жарко Иосип Броз обнаружил в детском доме недалеко от Ленинграда и забрал его к себе в гостиницу. Тито развелся с Пелагеей Белоусовой, а 13 октября 1936 года заключил брак с женой видного деятеля комсомола Германии, осужденного фашистскими властями на 15 лет каторги, Люцией Бауэр (настоящее ее имя Иоганна Кёниг). 21 сентября 1937 года Люция Бауэр была арестована органами НКВД. Жарко Броз был передан на воспитание в специальный детдом для детей сотрудников Коминтерна в город Иваново.
В качестве секретаря югославской делегации И. Броз Тито принял участие с правом совещательного голоса в работе VII конгресса Коминтерна, проходившего в июле — августе 1935 года в Москве в Доме союзов. Здесь И Броз Тито впервые увидел И.В. Сталина. Его поразило то, что за весь месяц работы этого конгресса Сталин появился в президиуме только один или два раза, причем садился за одной из мраморных колонн. «Больше мы его не видели, — говорил И. Броз Тито. — А звали хозяином. Так было принято в то время».
16 октября 1936 года И. Броз Тито по распоряжению Коминтерна выехал на работу в Югославию с задачей «руководить деятельностью партии и нести основную ответственность за новое руководство, которое должно находиться в стране».
На заседании ЦК КПЮ 3 апреля 1937 года, в котором приняли участие Бург (М. Горкич), Тито (Вальтер), Шварц (С. Жуйович) и Руди (Р. Чолакович), была создана специальная комиссия Тито для расследования обстоятельств неудачи с отправкой югославских добровольцев в Испанию. В июле последовал вызов М. Горкича из Парижа в Москву, а в августе 1937 года перестала поступать финансовая помощь Коминтерна.
М. Горкич был отстранен от выполнения обязанностей Генерального секретаря ЦК КПЮ. 17 августа 1937 года Тито взял на себя обязанности оргсекретаря. Оппозиционная И. Броз Тито группа обвиняла его в том, что он отказался очистить руководство КПЮ и его аппарат от сторонников М Горкича, от сомнительных элементов, связанных с полицией. Во время пребывания в Москве осенью 1938 года И. Броз Тито был «буквально на волосок от ареста» в связи с тем, что его противники пытались инкриминировать ему вину за провал операции по отправке югославских добровольцев в Испанию в феврале — марте 1937 года. Таким образом недруги пытались исключить И. Броз Тито из числа претендентов на вакантный пост Генерального секретаря ЦК КПЮ. Не случайно он назвал свое пребывание в Москве «самыми трудными днями в своей жизни», когда у него появилась седая прядь в волосах.
30 декабря 1938 года И. Броз Тито был принят Г. Димитровым. В этой беседе речь шла о программе дальнейшей деятельности Временного руководства КПЮ в стране во главе с И. Броз Тито, которому предоставлялся как бы испытательный срок в три месяца, после чего он должен был вновь приехать в Москву для отчета в Коминтерне о проделанной работе.