Около 11 часов вечера «Остер» подошел к пристани «Глебовка», а так как на нем иссякал запас дров для пароходной машины, то с разрешения помощника командующего флотилией в экстренном порядке началась их дозагрузка. Темная августовская ночь оказалась вполне удобной для осуществления задуманного. По команде капитана заговорщики тихонько и по одному, пользуясь шумной увлеченностью команды погрузкой, под прикрытием штабелей дров стали пробираться к находящемуся неподалеку лесу на болоте. Собравшись вместе и спрятавшись, беглецы решили переждать здесь отход парохода. Через час послышался первый гудок парохода, означавший окончание погрузки. Вслед за ними зазвучали тревожные ночные свистки, что, как догадались беглецы, означало начало их поиска. Они спешным порядком углубились в лес, наткнулись на болото, где провели несколько часов по пояс в болотной жиже. Убедившись, что погони нет, а пароход ушел вверх по реке, беглецы во главе со знавшим эту местность Линниковым пошли через чащобу и болота в село Глебовну, которое находилось от пристани на расстоянии 13–15 верст. Здесь остановились у знакомого рулевого Линникова — священника местной церкви, который накормил моряков и обеспечил им ночлег. Помог батюшка и в поиске у рыбаков старого баркаса, который
общими усилиями удалось за пару дней наскоро законопатить. На третий день, попрощавшись со священником, беглецы отошли самоплавом вниз по течению в сторону Киева.
Прибыв в Киев, все разошлись по своим домам, а Розенбаум отправился к тестю, чтобы получить приют, а главное, с целью сориентироваться в происходящем в городе. На следующий день, написав рапорт на имя командующего деникинской Днепровской флотилией, он отправился в штаб таковой просить о предоставлении ему службы. Принял его флаг-офицер флотилии, и когда проситель, помимо устного рассказа о своих похождениях в последние дни, подал еще и рапорт о численности Красной флотилии, то он предложил подателю сего явиться в штаб к командующему вечером того же дня, около девяти часов. При этом рапорт офицер оставил у себя для передачи по назначению.
Вечером командующий флотилией действительно принял Розенбаума, долго и в подробностях расспрашивал о Красной флотилии, об обстоятельствах побега с «Остера», после чего предложил ему прибыть для получения окончательного ответа по вопросу о службе на следующий день. Сославшись при этом, что он в связи с зачислением нового человека должен осведомиться об условиях и правилах этого в персональном отделе штаба армии.
Розенбаум вернулся в дом к тестю, а через час или два сюда пришел флотский офицер и потребовал отправиться с ним в штаб. Офицер привел просителя на Фундуклеевскую улицу, где, как оказалось, находился штаб деникинской контрразведки. Не говоря Розенбауму ни худого, ни хорошего слова, он ввел его в комнату, где находилось множество (до сотни) людей, которые располагались как придется, так как здесь не было никакой мебели. Нашел себе место на полу и Розенбаум. Здесь, обманутый в своих надеждах, он пробыл до рассвета. В пять часов утра 23 августа 1919 года его вместе с другими людьми, находившимися в этом помещении, под конвоем повели в Лукьяновскую тюрьму. Там всех их поместили в камеры по 15–20 человек в каждую.
Через две недели этого сидения Розенбаум был вызван на допрос к прибывшему в тюрьму следователю Устругову. В ходе его последний сухо сказал задержанному, что командующий посчитал его сведения в рапорте неполными и неточными, имея в виду также место, куда Красная флотилия направлялась. Розенбауму, выразившему желание тут же в рапорте все уточнить и дополнить (как в устной, так и в письменной форме), следователь в резкой форме отказал, сославшись на занятость, и перенес допрос на следующий день. Этого следующего допроса Розенбаум уже не дождался ввиду резкого обострения военных действий. Под Киевом разворачивались бои между красными и белыми, и белые в конце концов вынуждены были отступить на Дарницу и Бровары. Всех арестованных из тюрьмы выпустили со словами: «Идите, куда хотите…». С горьким осадком на душе против добровольцев вышел из заключения Розенбаум; одно лишь радовало его самочувствие — справка с подписью какого-то деникинского чина и печатью. В справке было написано: «Предъявителю сего подпоручику фон Розенбаум Эдуарду Эдуардовичу разрешается свободное проживание во всех местностях, занятых частями Добровольческой армии».