С апреля 1920 г. – доброволец Рейхсвера. В 1923 г. – лейтенант. В польскую кампанию 1939 г. – старший офицер (начальник оперативного отдела) штаба дивизии. В октябре по протекции генерала фон Манштейна был переведен в генеральный штаб ОКХ. Осенью 1940 г. возглавил группу «Восток» оперативного управления генштаба. В апреле 1942 г. стал начальником отдела «Фремде Хеере Ост» («Иностранные армии Восток»), главной задачей которого была войсковая тактическая и стратегическая разведка на Восточном фронте. Конкурировал с Абвером и СД. Удостоился звания генерал-майора Вермахта.
После капитуляции Третьего рейха сдался в плен американским войскам. Предварительно Гелен приказал тайно скопировать в трех экземплярах все архивы и досье разведотдела генштаба ОКХ, вплоть до фотографий и магнитных записей. Все было спрятано в различных тайниках на территории Германии.
9 января 1945 г., доложив в последний раз Гитлеру о положении дел на Восточном фронте, Гелен на глазах сотрудников РСХА «уничтожил» все архивы «Фремде Хеере Ост».
В плену Гелен предоставил американцам шпионскую сеть всей Восточной Европы, включая СССР, и начал активно сотрудничать с Управлением стратегических служб США. Через 10 лет после окончания Второй мировой войны в ФРГ он создал разведывательную службу – «Бундес Нахрихтен Динст» – Федеральную разведывательную службу, осуществлявшую разведработу за пределами ФРГ. Руководил ею Гелен до мая 1968 г. Любимым его выражением было: «Это (шпионаж. – Авт.) такая грязная работа, что ее должны выполнять только честные люди».
В послевоенные годы подготовил мемуары под символическим названием «Служба», где, в частности, писал: «Гальдер (после назначения начальником отдела «Иностранные армии Восток». – Авт.) сказал, с определенным подтекстом, что ждет от меня не только ежедневной оценки ситуации, а и долгосрочных прогнозов в отношении стратегических намерений и возможностей противника. Это было важным нововведением…
Я всегда стремился подчеркнуть: в войне с русскими мы имели дело со стратегическими и политическими аналитиками высшего калибра, высшего ума и хитростей».