О своем происхождении наш герой на извилистых поворотах жизни говаривал разное, нередко называя своего отца — потомственного дворянина Лифляндской губернии — то армейским генералом, то флотским адмиралом. «Наследственные владения» последнего также в зависимости от ситуации меняли не только свои размеры, но и место расположения. Иногда разговоры о них ограничивались лишь Латвией, в другой раз они распространялись на юг, в пределы Каменец-Подольской и Киевской губерний. Между тем в большинстве официальных документов, касающихся родителей, значилось, что отцом будущего агента (чем бы он ни занимался, эта профессия была в его жизни главной) был обрусевший немец, служащий Одесской таможни Эдуард Теодорович Розенбаум. Мать Эдуарда Розенбаума — урожденная Дюврэ-Куэ Каролина Сигизмундовна — до своего замужества была артисткой балета. Где и как, на каких сценах она танцевала, что объединило в Одессе этих двух совершенно непохожих людей, сказать трудно. Во всяком случае, в памяти Розенбаума сохранились материнские упреки в адрес отца со ссылками на «загубленную молодость, красоту и талант».
Продвижение по службе Розенбаума-старшего шло не так, как это могло быть, доходы семьи были скромными, что чаще всего и было предметом семейных конфликтов. Несмотря на это, он своей роли главы семейства жене никогда не уступал и молча, терпеливо переносил все обращенные в его адрес нападки. В силу многолетнего нахождения на казенной службе и свойственного большинству немцев уважительного, вплоть до педантизма, отношения к начальству и властям, Эдуард Теодорович воздействовал на становление единственного сына в верноподданическом духе. Мать же, считая себя не просто полькой, а «полькой, в жилах которой течет французская кровь», несмотря на свой ранний разрыв с театром, вносила в семейную жизнь атмосферу возвышенно-романтического отношения ко всему окружающему миру. Такое состояние души иногда заводило ее в разговорах с близкими людьми в состояние некоторой оппозиционности по отношению к властям, впрочем, не заходившей далее обид на начальство своего мужа да критики «мужлана-городового», как-то обидевшего ее традиционным «здрасте» с подкручиванием вверх рыжего уса. Столкновение этих родительских воспитательных стихий находило в душе мальчика, не имевшего рядом никого ближе и роднее маменьки и папеньки, попеременное тяготение ко всему тому, что им было дорого.
В 1896 году он окончил гимназию и несколько лет по протекции знакомых отца служил весовщиком при портовых складах и магазинах. К работе этой Эдуард не питал никакого интереса: высокомерие опытных коллег его раздражало, а распущенность и хамство вечно пьяных грузчиков злили. Единственное, что ему нравилось в порту, так это нарядные пассажирские пароходы, веселая публика на них, музыка… и гудки, как бы зовущие к где-то существующей, неизменно светлой жизни. И молодой человек стал подумывать о профессии морского штурмана. В начале 1902 года, не достигнув и пятидесяти лет, от неожиданного желудочного кровоизлияния умер Розенбаум-старший, что в корне изменило планы сына на будущее. Между тем подходило время отбывать ему воинскую повинность, и в сложившейся ситуации он не смог придумать ничего лучшего, как поступить в том же году в Елизаветградское кавалерийское училище, что в Херсонской губернии. Учился он с желанием, и длиннополая шинель, сапоги со шпорами, шашка на боку — все это волновало воображение будущего кавалериста, но лошадь, выездка и прочее никак не давались ему; быть же посмешищем у тех своих товарищей, что будто бы родились в седле, он не хотел. На втором году учебы в училище он подал рапорт об увольнении, который беспрепятственно начальством был удовлетворен. Не желая ехать домой, к глубоко страдавшей от неудач сына матери, он, по совету ротмистра жандармерии Розмарицы, поступил зимой 1904 года вольноопределяющимся на службу в 11-ю артиллерийскую бригаду, которая дислоцировалась в небольшом городке Луцке. Тогда же состоялась и его вербовка в число царской охранки с получением задания «присматривать за неблагонадежными». Непосредственный начальник Розенбаума, командир 5-й батареи Сергей Владимирович Лукашевич, сумел заметить в нем служебное рвение, умение ладить с товарищами, и уже через год с небольшим он подал прошение вышестоящему командованию о переводе вольноопределяющего Розенбаума в прапорщики. Высочайший указ об этом был опубликован в специальном разделе военной газеты «Русский Инвалид» от 25 октября 1905 года. Этот номер газеты новоиспеченный прапорщик затем долгие годы хранил вместе с другими важными для себя документами. Что же касается агентурной деятельности Розенбаума в армейской среде, то она по разным причинам была тогда малорезультативной.