Примером воинской доблести может служить и Владимир-Зеев Трумпельдор. Выйдя из кантонистов в армию, он участвовал в обороне Севастополя во время Крымской войны 1854-1856 годов, многие годы служил военным фельдшером в Кавказской армии, участвовал в кровопролитных сражениях Кавказской войны, был в рядах русских войск, штурмом взявших аул Гуниб, где был пленен имам Шамиль. Как николаевский солдат, отслуживший двадцать пять лет в русской армии, он имел право после окончания службы выбрать для себя любое место жительства. Владимир-Зеев Трумпельдор избрал Пятигорск, где женился, обзавелся семьей...
Кроме Иосифа в семье были еще сыновья Самуил (р. 1870), Герман (р. 1872), Михаил (р. 1877), Александр (р. 1895) и дочери Софья (р. 1879), Любовь (р. 1887), Дора (р. 1890). В 1883 году всё большое семейство переехало в Ростов-на-Дону. Обосновались сначала в доме № 162 на Большой Садовой улице, затем в доме № 22 в Малом переулке (ныне угол пер. Чехова и ул. Станиславского).
В Ростове-на-Дону отец многие годы проработал фельдшером хирургического отделения и делопроизводителем Еврейской больницы. Семья Трумпельдор ничем не выделялась среди ростовских обывателей. И хотя в семье царила теплая атмосфера еврейского дома, между родителями возникали разногласия на почве воспитания детей: если Зеев-Владимир был твердым сторонником приобщения детей к ценностям еврейства и иудаизма, то мать, выросшая в ассимилированной семье и получившая образование в русской школе, стремилась оторвать детей от еврейства, полностью приняв образ жизни русского окружения. Влияние матери сыграло свою роль в том, что сестры Трумпельдора впоследствии крестились и навсегда утратили связи с еврейским народом.
Для мальчиков пример отца имел решающее значение в определении своих национальных и религиозных предпочтений. В семье отмечались еврейские праздники, в еде придерживались норм кашрута. По настоянию отца маленький Иосиф посещал хедер — еврейскую религиозную школу для мальчиков. В хедере дети учили Танах (Ветхий Завет), Талмуд, там произошло приобщение будущего героя к духовным ценностям еврейского народа. Еврейские герои древности — борцы за независимость Иудеи — братья Маккавеи, вождь еврейского восстания против римского владычества Бар Кохба запали в душу мальчика. Волей-неволей вставал вопрос: "Мы были свободной нацией в собственной стране. Так почему мы сегодня пребываем в чужеземной неволе?" Несомненно, именно тогда в душе Иосифа стала формироваться жажда еврейской свободы и независимости, приведшая его вскоре к сионизму.
Наряду с еврейским религиозным образованием, дети получали и светское образование. Иосиф с отличием заканчивает в Ростове-на-Дону городское училище и планирует продолжить учебу в реальном училище, однако сталкивается с запретами и ограничениями, обильно вводимыми русскими властями для своих еврейских граждан. Успешно выдержав приемные экзамены в реальное училище, он принят в него не был — пресловутая "процентная норма", ограничивающая число евреев тремя-пятью процентами от общего числа учащихся, закрывала евреям путь к получению образования. Одним из немногих учебных заведений, куда принимали евреев, была фельдшерская школа в Харькове, которую Иосиф Трумпельдор окончил в 1900 году, и начал работать в амбулатории при Еврейской больнице.
В юности Иосиф, как и вся демократическая русская молодежь того времени, был увлечен идеями толстовства. "Великий писатель земли русской" Лев Толстой проповедовал среди своих многочисленных последователей идеи жизни на земле, крестьянская коммуна рассматривалась им как идеал общественных отношений. На молодого Иосифа Трумпельдора огромное впечатление произвело знакомство с толстовцами, создавшими свои общины неподалеку от Ростова-на-Дону, в Новочеркасске и в станице Старочеркасской. Среди них можно отметить Василия Часовникова и Александру Гриневу, находившихся в личной переписке со Львом Толстым и активно пропагандировавших его идеи. Возможно, именно общение с ними привело Трумпельдора к толстовству, под их влиянием он уже в четырнадцать лет стал убежденным вегетарианцем и оставался им на протяжении всей жизни, отказался от курения и употребления спиртного, сделал для себя нормой физическое и духовное закаливание, ограничил себя в развлечениях и предметах роскоши.