Как и все остальные студенты, он поклялся в пожизненной верности КГБ: «Обязуюсь защищать мою страну до последней капли крови и хранить государственные тайны». Эту присягу он принес без колебаний. А еще он вступил в партию — это тоже было обязательным условием для допуска в разведсообщество. Возможно, он и колебался (как и многие), но это не помешало ему поступить в КГБ и стать коммунистом с чистосердечными намерениями и искренностью. Кроме того, КГБ притягивал его. Годовой курс обучения в школе № 101 вовсе не обернулся для Олега оруэлловскими кошмарами, а оказался самым приятным периодом его молодости. Это было время волнующих открытий и надежд. Его товарищей по учебе взяли в школу разведчиков за интеллект и идейное послушание, но еще и за тягу к приключениям, которая характерна для всех спецслужб. «Мы выбрали работу в КГБ, потому что она сулила настоящую деятельность». Секретность создает крепкие узы. Даже родители Олега плохо представляли себе, где их сын и чем он занят. «Попасть на службу в ПГУ было предметом затаенных или открытых мечтаний большинства молодых сотрудников госбезопасности, но лишь немногие удостаивались этой чести, — писал позднее Леонид Шебаршин, который учился в школе № 101 приблизительно в ту же пору, что и Олег Гордиевский, а со временем дослужился до должности начальника Первого главного управления КГБ. — Сама специфика работы сплачивала разведчиков в своеобразное товарищество со своими традициями, дисциплиной, условностями, особым профессиональным языком». Летом 1963 года Гордиевского окончательно приняли в кагэбэшное братство. Когда он клялся защищать Родину до последнего вздоха и до последней тайны, он ничуть не кривил душой.
Василий Гордиевский усердно работал на Управление «С» — отдел нелегальной разведки ПГУ. А еще он начал крепко пить — что вовсе не считалось серьезным недостатком, ведь в органах разведки высоко ценили способность поглощать после работы водку в огромных количествах и при этом держаться на ногах. Как специалист по нелегалам, он переезжал с места на место под разными вымышленными именами, служил в подпольной сети, передавал сообщения и деньги другим тайным агентам. Василий никогда не рассказывал младшему брату о своей деятельности, лишь ронял намеки, из которых можно было понять, что ему доводилось бывать в разных экзотических странах: Мозамбике, Вьетнаме, Швеции и ЮАР.
Олег надеялся, что и его вслед за братом отправят в это волнующее зарубежное подполье. Но вместо этого его определили в Управление «С» в Москве, где ему предстояло готовить документы для других нелегалов. 20 августа 1963 года, старательно скрывая разочарование, Гордиевский надел свой лучший костюм и явился на службу в штаб КГБ. Этот комплекс зданий неподалеку от Кремля — полутюрьма-полуархив — был кипучим руководящим центром советской разведки. Сердцем этой единой системы было зловещее здание на Лубянке — дворец в классицистическом стиле с элементами барокко, изначально построенный как доходный дом страхового общества «Россия». В подвалах этого здания находились пыточные камеры КГБ. Сами кагэбэшники называли свой главный корпус Монастырем или просто Центром.
Вместо того чтобы отправиться засекреченным агентом в какие-нибудь заманчивые заграничные края, Гордиевский уныло перекладывал бумажки и, как «раб на галерах», заполнял бланки. Каждому нелегалу требовалось создать фальшивую личину, которая выглядела бы убедительно, — по сути, вызвать из небытия нового человека с полностью вымышленной биографией и поддельными документами. Каждого такого нелегала полагалось опекать, инструктировать и финансировать, а для этого задействовалась сложная сеть условных сигналов, шпионских тайников и моментальных передач. Особенно перспективной страной для внедрения нелегалов считалась Британия, поскольку там не существовало внутренних паспортов и единой системы гражданской регистрации. К главным мишеням относились и Западная Германия, Америка, Австралия, Канада и Новая Зеландия. Олег, попавший в германский отдел, целыми днями придумывал биографии несуществующим людям. Два года он жил в мире двойных жизней, отправлял за границу новых шпионов с поддельными именами и паспортами и встречал тех, кто оттуда возвращался.