Военная карьера Пеньковского даже на первый взгляд была довольно необычной. После окончания в 1939 году Киевского военного училища его направляют в войска. Он участвовал в советско-финляндской войне. С июня 1941 года начал контактировать с военной разведкой РККА. Некоторое время, с 1944 по 1945 годы, являлся офицером связи, порученцем будущего главного маршала артиллерии С. Варенцова. В 1945 году Олег Пеньковский, двадцатишестилетний подполковник по рекомендации Варенцова и маршала Конева был принят в Военную академию им. Фрунзе. В наградном листе Пеньковского значились пять боевых орденов, включая редкий «штабной» орден Александра Невского. В этом же 1945 году подполковник женился на 17-летней дочери генерала Д.А. Гапановича, начальника Политуправления и члена Военного совета МВО. После появления первого ребенка — дочери, он получил, по всей видимости, не без помощи тестя, шикарную квартиру в элитном по тем временам доме. В карьерном росте племянника очевидно принимал участие и его дядя, в будущем генерал армии, В.А. Пеньковский.
В 1948 году он оканчивает Военной академии имени М.В. Фрунзе. Там овладел азами английского языка и намеревался поступить в престижную Высшую военно-дипломатическую школу (ВВДШ). Но получил облом — его не приняли, не помогло и вмешательство тестя. Служба в Москве после «фрунзенки» началась в Центральном военкомате МВО. В начале 1949 года, не без помощи маршала Конева и его зама генерала Маландина, он зачисляется слушателем ВВДШ. В первых числах февраля 1950 года он получил звание полковника.
На банкете, где почетный гость Иван Конев, бросив три полковничьи звезды в бокал с водкой, провозгласил тост «за одну большую генеральскую звезду» одного из самых молодых полковников в стране.
В 1953 году Пеньковский завершил учебу в ВВДШ, потом она будет называться Военно-дипломатической академией, и был направлен в Главное разведывательное управление Генштаба ВС СССР, но там с самого начала службы Пеньковский не сумел найти ключи к новым сослуживцам. Репутация «выскочки» быстро утвердилась за молодым полковником. От него начальство постаралось избавиться.
С 1955 года его назначают на должность исполняющего обязанности военного атташе СССР в Турции. Вместе с женой он вылетел в Анкару. Деловых и товарищеских отношений с коллегами и посольскими работниками у него не сложилось. Пеньковских считали высокомерными людьми, в свою очередь супруга и.о. ВАТ пренебрежительно называла своих коллег «колхозниками».
В январе 1956 года в Анкару из Кабула перевели генерал-майора Н.П. Савченко (Рубенко) и назначили его ВАТ СССР и руководителем резидентуры ГРУ в Турции. С новым руководством у Пеньковского тоже не сложилось деловых отношений, и он, пытаясь отомстить своему начальнику за «глупость и грубость» в своей работе, донес на него в Москву через каналы КГБ. В ноябре 1956 года все руководство ВАТ было отозвано в СССР. Пеньковский понял, что такой его поступок не прибавит «пера в его шляпу» в системе ГРУ.
Тогдашний начальник управления кадров ГРУ генерал Смоликов обрисовал положение Пеньковского так:
Итак, Пеньковский не сумел перерасти генеральского порученца, который поселился в нем навсегда.
В 1958 году он не без помощи Варенцева направляется на ракетные курсы при Военно-инженерной академии им. Дзержинского. 23 апреля 1959 года Пеньковскому исполнилось 40 лет. Его служебные амбиции не были полностью удовлетворены, хотя в мае 1959 года Пеньковский получил диплом с высшими оценками по всем дисциплинам и был отмечен как лучший выпускник курса. После окончания курсов его опять направляют в ГРУ. Офицера определили на работу в управление внешних сношений Госкомитета по координации научно-исследовательских работ (УВС ГККНИР) при Совете Министров СССР. По его мнению, это было прикрытое добродетелью выдавливания его из центрального аппарата ГРУ и конец карьерному росту.
Что же касается УВС ГККНИРа, оно напоминало в это время старорежимную «богадельню», куда прибивался весь хлам секретных служб, имитирующих важную государственную работу. Это было время армейского скепсиса в результате существенного сокращения Вооруженных Сил СССР как результат хрущевской «политической пластики» в духе «веселого душегуба». Юмористом с кастетом в руках называли его импровизированные шаги во внутренней и внешней политике некоторые острословы.