Исидор Мильграм родился 15 декабря 1896 года в городе Калиш Калишской губернии (бывшая Русская Польша) в трудовой семье. Отец его был рабочим, а затем мастером на кружевной фабрике Мойсевича в Калише. С десяти лет Исидор начал трудиться на этой же фабрике сначала подручным монтера, а затем — слесаря.
После того как немцы оккупировали родной город Исидора, его угнали в Германию. Сначала он работал слесарем на угольной шахте в Саксонии, а затем на одном из заводов Круппа в Рурской области и на берлинской городской железной дороге. Активно участвовал в рабочем движении, являлся членом Социал-демократической партии Германии. Одновременно с 1916 года — член партии большевиков. Помогал Карлу Либкнехту в организации 1 мая 1916 года известной демонстрации берлинского пролетариата на Потсдамской площади, которая прошла под лозунгом «Долой войну!». За участие в антивоенной демонстрации был арестован и несколько месяцев провел в тюрьме. Затем был отправлен на принудительные работы на один из заводов Круппа, откуда бежал.
С января 1917 года находился на партийной работе в Роттердаме (Нидерланды), где вел агитацию среди военнопленных. В марте того же года женился.
Из воспоминаний жены И. В. Мильграма Фриды Францевны: