3 июля 1974 года четверо вооруженных преступников захватили самолет Як-40 и потребовали от экипажа лететь в Швецию. Бортмеханик, пытаясь оказать сопротивление, был ранен выстрелом в живот, одного из пассажиров ударили ножом. Однако экипажу удалось убедить террористов посадить лайнер в Москве под предлогом дозаправки топливом. По иронии судьбы самолет приземлился во «Внуково-2», где как раз собирались встречать генерального секретаря ЦК Болгарской компартии Тодора Живкова — ожидалось прибытие Брежнева и других членов Политбюро, на подъезде был министр внутренних дел СССР Щёлоков.
Самолет с заложниками стоял на дальней рулёжной дорожке, примерно в километре от пассажирского терминала. Угонщики поставили условие: полтора миллиона долларов. В противном случае они обещали взорвать самолет. Андропов дал указание провести операцию по освобождению пассажиров. После завершения официальной встречи министр Щёлоков и первый заместитель Председателя КГБ СССР Цвигун лично возглавили руководство операцией по освобождению заложников. Проблема заключалась в том, что действовать предстояло «с листа» — никаких структур антитеррора на тот момент ни в КГБ, ни в МВД не существовало. Когда офицер КГБ с чемоданом долларов двинулся в сторону самолета, террористы увидели его и открыли дверь. Операция завершилась в течение десяти минут. У самолета стоял густой оранжевый дым. Трупы двух террористов лежали возле двери — главарь угонщиков по фамилии Романов застрелился. Двух других, захваченных в салоне, выводили в наручниках. Ни один из пассажиров в ходе штурма не пострадал.
Вскоре генерал-майор Михаил Михайлович Милютин, начальник 7-го Управления (наружное наблюдение) КГБ СССР, был вызван к генерал-полковнику Семёну Кузьмичу Цвигуну, и тот без особых предисловий сказал: «Юрий Владимирович приказал создать боевую группу для противодействия угонщикам самолётов».
Особо было оговорено, что подчиняться это новое формирование будет непосредственно Андропову. 29 июля 1974 года Андропов подписал приказ 0089/ОВ об изменении в штатах 7-го Управления и утвердил Положение о Группе «А» 5-го отдела этого Управления. Этот день считается Днём рождения группы «Альфа».
В Положении говорилось: «Группа “А” выполняет специальные задания Председателя КГБ СССР по пресечению террористических, диверсионных и иных особо опасных преступных акций, совершаемых с целью захвата иностранных представительств, их сотрудников, особо важных объектов, а также членов экипажей и пассажиров транспортных средств на аэродромах, вокзалах, в морских и речных портах на территории СССР».
При этом Юрий Владимирович предупредил Милютина: «Командира я вам подберу сам». Ещё свежи были в памяти кровопролитные бои за остров Даманский. Тогда пограничники КГБ СССР приняли на себя удар китайцев и стояли насмерть до подхода основных сил. 5 сентября 1974 года по предложению Андропова командиром Группы «А» был назначен бывший начальник пограничной заставы Герой Советского Союза майор Виталий Дмитриевич Бубенин.
Первоначально Группа «А» насчитывала 30 человек. Костяк составили офицеры среднего звена — от старшего лейтенанта до майора. Главные критерии отбора: абсолютная выносливость, умение хладнокровно мыслить и действовать — даже под пулями. В числе трёх первых сотрудников был принят Сергей Александрович Голов. Как сообщили о нём из отдела кадров: «Врач, мастер спорта по самбо, физически развит, окончил медицинский институт, Институт физкультуры и Высшую школу КГБ СССР». Это два точных выстрела майора Голова, произведенных 28 марта 1979 года из бесшумного пистолета 6П9, завершили историю с попыткой захвата американского посольства в Москве. В тот день террорист Ю. Власенко, увешанный взрывчаткой, требовал незамедлительного выезда за рубеж…
Особое внимание в подразделении обращали на физическую и специальную подготовку. До автоматизма отрабатывали способы нейтрализации террористов в захваченном самолете. Все без исключения прыгали с парашютом, осваивали программу боевых пловцов. Могли управлять автомобилями любых типов, вести огонь из танков, БМП, БТР, учились поражать цели с первого выстрела, первой же очередью, — днем и ночью, на ходу, на звук, по вспышкам, на предельной дальности.