Карл и Анна были от первого брака отца. Ян Якабавич сам из батраков. Он пришел в Ригу из местечка Вецсаулэ пешком, без денег и нанялся на пробковую фабрику к барону Брандебургу. Скопив потихоньку денег, он покупает лошадь и становится извозчиком на пристани. Чуть позже, когда у него появилась возможность заплатить за небольшой одноэтажный домик, который ему удалось по дешевке снять на улице Ревелес, решил посвататься к Грете Тылтынь. Приглянулась ему эта кареглазая худенькая латышка из Лэдурги. По получает от нее отказ. Тогда Ян женится на Фрайберг Дорэтэе. Однако она вскоре умерла, оставив ему сына и дочь.
Узнав о горе Яна, Грета Тылтынь сама пришла к нему в дом: «Не хотела идти за тебя, Ян, когда ты был парнем, а теперь придется… Детям нужна мать».
Грета Лабренцевна оказалась заботливой матерью. Она с любовью относилась к Карлу и Анне. Вскоре и у нее родились дети от Яна — Альфред, через три года Эмилия; а еще через три года Ян.
Как и Альфред, Ян после окончания начальной школы стал ходить на курсы, организованные известным тогда в Риге музыкальным деятелем Е. Дубуром. В семье мечтали, чтобы Альфред и Эди стали артистами, особенно этого хотела Грета Лабренцевна. Дубур отмечал незаурядные музыкальные способности Яна, его сильный красивый баритон. На курсах, где обучались дети разных сословий, ребята ставили небольшие сценки из музыкальных и драматических спектаклей на латышском языке. А по праздникам Яна приглашали в хор при соборе. Туда его водила Грета Лабренцевна. Она очень любила слушать детские голоса, сливавшиеся с органом. Настоятель собора, так же как и Дубур, советовал Грете Лабренцевне больше уделять внимания музыкальному образованию мальчика, не упустить талант, развивать его.
Все шло хорошо до тех пор, пока не пропала у отца упряжка лошадей. Семья осталась без надежного заработка. Альфред и Ян вынуждены были прекратить занятия: Альфред — по классу фортепиано, Ян — вокального искусства. Дубур был очень раздосадован, когда узнал, что самый младший из семьи Лепсе покидает класс: «Передай маме, что я разрешаю тебе ходить бесплатно. В будущем, возможно, и у нас в Латвии появится свой Шаляпин». Однако в семье Лепсе было заведено по-другому. Ян Якабавич считал непристойным быть должным кому-либо, зависеть от кого-нибудь. «Заработай сам и будь сам себе хозяин», — всегда повторял он.
Вначале Альфред, а потом и Ян пошли на завод. Альфреда приняли сразу, поскольку он был старше. Яну же только исполнилось четырнадцать лет. Его с трудом удалось устроить на принадлежавший акционерному обществу Рижский чугунолитейный и машиностроительный завод, в прошлом Фельзер и К0, учеником формовщика литья. Уж больно бледным и хрупким казался Ян с виду.
Работая на «Фельзере», Ян не расставался со сценическим искусством. Вместе с Альфредом по рекомендации Е. Дубура он посещал «Улей». Там, при Доме купеческого общества, под руководством Константина Незлобпна, других режиссеров молодежь, а среди нее были и студенты Политехнического института, ставила Чехова, Горького, Островского, а также модных тогда зарубежных драматургов и композиторов. Лепсе лучше всего удавались смешные водевильные роли. Нередко к участию в спектаклях постановщики и импресарио привлекали профессиональных актеров, и тогда спектакли шли при полном аншлаге.
«Улей» очень обогащал жизнь юного Яна Лепсе. Там он познакомился со студентами Политехнического института Арвидом и Петерисом, их подругой Илзой. Студенты иногда приглашали Яна на открытые лекции в институт, звали на свои капустники. В институте и Доме купеческого общества Лепсе встречался и с революционерами — членами рижского партийного подполья, которые вели пропагандистскую работу среди молодежи.
…Лепсе еще многого не знает и не ведает. Он старается лишь осмысливать все происходящее вокруг, горит желанием познать хоть то немногое, чем живут Арвид, Петерис, их сокурсники.
На «Фельзере» Ян знакомится с членом заводской партийной организации Андрисом Недритом. Поначалу их свела любовь к стихам Райниса, которые Ян почитывал в обеденный перерыв, на что и обратил внимание Андрис. А. Недрит стал обмениваться с Я. Лепсе книжками, среди которых были работы Ленина, Фейербаха, Данишевского, прогрессивных писателей Латвии, обращается к Яну с просьбой распространить в кругу подростков статьи и книги на политические темы. Позже Недрит вводит Яна Лепсе в партийную организацию, действовавшую на заводе подпольно. Это произошло в декабре 1904 года, спустя полгода после того, как Яна взяли в ученики.