Приказом № 0089/ОВ («особой важности») от 29 июля 1974 года по инициативе Председателя КГБ СССР Юрия Андропова в 5-м отделе (охраны дипломатических представительств) Седьмого управления КГБ СССР при Совете Министров СССР было создано особое структурное подразделение, известное как «Группа „А“» (от слова «антитеррор», которое негласно в КГБ называли «Группа Андропова», хотя сам Андропов не считал наименование каким-либо важным в деятельности группы). В обязанности группы входило выполнение специальных заданий Председателя КГБ СССР по пресечению террористических, диверсионных и иных особо преступных акций. Первым командиром спецподразделения был назначен генерал-майор пограничных войск Виталий Бубенин, Герой Советского Союза и участник советско-китайских вооружённых столкновений на острове Даманский. Аналогичными специальными подразделениями в составе КГБ СССР, схожими по функциям, в те годы также являлись «Зенит» и «Каскад». Численность первой группы составляла 30 человек: по воспоминаниям полковника А. Н. Савельева 1992 года, первый набор группы «А» и призыв 1978 года были одними из лучших за историю группы благодаря тому, что призванные в группу люди не только имели отличную физическую подготовку благодаря занятию спортом, но и отличались высоким интеллектом.
Конкурсный отбор личного состава для группы был очень жёстким: туда могли быть зачислены только люди, имевшие высокий уровень физической и профессиональной подготовки, годные для службы в Воздушно-десантных войсках, положительно себя зарекомендовавшие, а также честные, преданные своей Родине, психологически выносливые и добросовестные; также они должны были являться офицерами КГБ, имеющими московскую прописку. В связи с тем, что подобных отрядов и групп прежде не сформировывалось в связи с отсутствием прецедентов, которые создали бы необходимость в таковых подразделениях, формирование группы «А» осуществлялось исключительно на добровольной основе. Первая база нового отряда была размещена в борцовском зале на Новослободской улице в Москве. В отличие от зарубежных спецподразделений типа «Дельта», для пополнения личного состава «Альфы» руководство КГБ СССР не проводило массовый смотр потенциальных кандидатов, направляя своих представителей в те или иные уголки СССР, а разрешило принимать любых сотрудников КГБ при наличии у них московской прописки, но, прежде всего, полагалось на опыт комитетского отдела кадров и даже на личные знакомства последних с кандидатами. Савельев отмечал, что многие пришли в группу из службы наружного наблюдения при Седьмом управлении КГБ СССР («наружки»), где от сотрудников требовалось постоянно думать и анализировать ситуацию для принятия верного решения.
В связи с тем, что для подготовки и тренировок личного состава отряда не было возможности и смысла создавать новую базу, группу «А» передали в Седьмое управление КГБ СССР, где имелись соответствующие для этого условия. При создании группы «А» руководство КГБ СССР стремилось создать такую мощную базу для развития отряда, чтобы она не уступала как минимум главной базе GSG-9 под Бонном, на которой были созданы все необходимые условия для тренировок отряда. Помимо разработки своих программ, руководство также использовало некие наработки аналогичных кубинских служб безопасности.
Первые операции: На протяжении первых двух лет существования группы она несколько раз поднималась по тревоге: ей приходилось разгонять демонстрации студентов у посольств Эфиопии и Того, которые требовали повышения стипендий — оперативники после первых попыток переговоров затем сами входили в посольства и выводили протестующих, рассаживая их по автобусам. В 1976 году в Москве услуги «Альфы» понадобились при освобождении посла Гайаны, взятого в заложники группой студентов-соотечественников. Ещё два сотрудника в 1976–1977 годах несли службу в Ливане, обеспечивая личную безопасность советского посла, резидента КГБ и членов семей дипломатов. Первая серьёзная операция с участием группы «А» состоялась 18 декабря 1976 года, когда в Цюрих по указанию Ю. В. Андропова вылетел самолёт Ту-134, доставивший диссидента В. К. Буковского с матерью, сестрой и тяжело больным племянником. На борту находились четыре сотрудника группы «А» — заместитель командира группы «А» майор Р. П. Ивон и его подчинённые Н. В. Берлев, Д. А. Леденёв и С. Г. Коломеец По воспоминаниям Берлева, Буковский утверждал, что сопровождавшие его силовики обращались с ним вежливо.