Сыну старого русского солдата армейская служба не была в тягость, а воспринималась как исполнение священного долга по защите, хоть и несправедливого к своим еврейским гражданам, русского Отечества.
В 1902 году Иосиф Трумпельдор был призван в армию на действительную службу. Отец напутствовал его словами, что на поле брани, также как и в личной жизни, он не посрамит ни отцовского имени, ни имени еврейства, ни имени русской армии.
Армейскую службу Иосиф Трумпельдор начал в 76-м Кубанском пехотном полку, дислоцированном в городе Тульчин Подольской губернии. В полку Трумпельдор отказался от привилегий, положенных ему как военфельдшеру — он проходит полный курс боевой подготовки солдата-пехотинца, что не раз пригодится ему в дальнейшей беспокойной жизни. Отличная физическая подготовка, готовность переносить тяготы солдатской службы, чувство товарищеской заботы об однополчанах — все эти качества Трумпельдора отмечаются командованием.
Трумпельдору нравится армейская служба, к тому же в полку находится среди однополчан немало близких ему по духовным исканиям солдат. В свободное от службы время вместе с ними он организует своеобразный клуб по интересам — они осваивают гимназические курсы математики, химии, немецкого и французского языков. Полученные знания должны пригодиться им после службы в армии для сдачи экстерном экзаменов за курс гимназии, получения аттестата зрелости и поступления в университет.
Трумпельдора и в армии не оставляет пронзительное чувство своей принадлежности к еврейству. Тульчин был типичным еврейским местечком, где евреи составляли более половины его населения. Здесь Трумпельдор впервые встретился с российским еврейством, запертым в огромном гетто, носившем название "черты осёдлости", лишенном элементарных гражданских прав, преследуемым и унижаемым. Именно этих людей сионистам предстояло повести за собой на историческую Родину.
Размеренный порядок армейской службы был нарушен известием о начале русско-японской войны на Дальнем Востоке, где в Маньчжурии и Корее русская колониальная экспансия встретила жесткое противодействие Японии.
В ночь на 27 января 1904 года русская эскадра, стоявшая на внешнем рейде крепости Порт-Артур, была внезапно без объявления войны атакована японским флотом: 8 японских миноносцев провели торпедную атаку кораблей русского флота. В результате атаки были выведены из строя два лучших русских броненосца "Цесаревич" и "Ретвизан", а также бронепалубный крейсер "Паллада". 27 января 1904 года японская эскадра в составе шести крейсеров и восьми миноносцев вынудила к бою находившиеся в корейском порту Чемульпо бронепалубный крейсер "Варяг" и канонерку "Кореец". Получивший тяжелые повреждения "Варяг" был затоплен, а "Кореец" — взорван.
Известие о начале войны вызвало огромный патриотический подъем в России. В простом народе и в образованных кругах преобладали ура-патриотические настроения, все свято верили правительственной пропаганде, утверждавшей, что на Россию напал вероломный "косоглазый" враг и необходимо дать отпор агрессору.
В исходе войны никто не сомневался, русское общество было уверено в скорой победе могучей России над неведомо откуда взявшимися дикими азиатами-островитянами. Грядущий тотальный разгром России на этой колониальной войне, ставшей национальной катастрофой, предвидеть никто не хотел.
В России началась мобилизация: воинские эшелоны с мобилизованными солдатами один за другим шли через всю огромную страну по недавно построенной Транссибирской железнодорожной магистрали в одном направлении — на Дальний Восток. Российским евреям также предстояло заплатить свой кровавый оброк — на русско-японской войне в рядах русской армии сражалось более тридцати тысяч еврейских солдат. Новобранцы-евреи составляли более пяти процентов всех призванных на военную службу, в то время как по данным всеобщей переписи русские евреи составляли лишь 4,13 процента всего населения. В сибирских полках, которые первыми вступили в бой с японцами, процент евреев был еще выше ввиду того что, согласно инструкциям того времени, еврейские новобранцы из западных губерний направлялись обычно для прохождения службы в Сибирь.
Тысячи солдат и офицеров из воинских частей, дислоцированных в Европейской части России, буквально завалили командование рапортами с просьбой направить их в действующую армию на Дальнем Востоке.
Среди этих добровольцев был и Иосиф Трумпельдор.
Несколько отказов не остановили его. Наконец, его упорство было вознаграждено, его включают в состав группы из ста двадцати семи добровольцев, которым предстоит воевать на Дальнем Востоке.
Через всю страну, Сибирь, Дальний Восток идут воинские эшелоны по Транссибирской магистрали и недавно построенной Китайско-Восточной железной дороге. Станцией назначения команды Трумпельдора является Порт-Артур — город-крепость, военно-морская база Тихоокеанского флота России на Желтом море. Тогда еще никто не знал что именно за Порт-Артур развернутся самые кровопролитные сражения русско-японской войны.