Армянский легион был сформирован в Польше. Его комплектование осуществлялось за счет военнопленных армянской национальности из концлагерей. Пополнение шло также за счет молодежи армянской диаспоры из разных стран Европы. Была открыта офицерская школа, получившая затем статус бригадной.
Армянские легионеры были одеты в старые (до 1939 года) модели обмундирования германской армии, и лишь некоторые из пехотных батальонов впоследствии получили обмундирование образца 1940–1944 годов. Для Армянского легиона специально были разработаны погоны, петлицы и нарукавные знаки. В основу были взяты символика Армянской армии и 1-й Республики Армения (1918–1920). Основной офицерский костяк Армянского легиона составили бывшие армяне-офицеры царской России, Болгарии, Греции, Сербии, Польши, Венгрии, Румынии и Франции.
Как и все пехотные батальоны восточных легионов, армянские имели точно определенную численность и деление на более малые боевые единицы. Этим они существенно отличались от структуры самих германских подразделений. Командирами некоторых батальонов (после 1943 года армянские комбаты были на этой должности формально) были немецкие офицеры, и к каждому батальону был прикреплен один переводчик унтер-офицер, знающий армянский язык.
Численность батальона доходила до 1000 человек, и состоял он из пяти рот: три стрелковые, одна пулеметная и одна штабная. Каждая стрелковая рота делилась на четыре взвода (три стрелковых и один пулеметный). В штабной роте были взвода минометный, противотанковый, саперный и связи. На вооружении личного состава батальонов имелись не только немецкое стрелковое оружие и пулеметы, но также и трофейное оружие советского производства. Минометный взвод имел на вооружении от 9 до 15 минометов разных калибров, а противотанковый взвод 3–4 противотанковые пушки (45 мм). Общее число армянских стрелковых батальонов, сформированных до конца 1943 года, составило одиннадцать. А всего за период с 1941 по 1945 год из армян было сформировано 22 стрелковых, строительных, конструкционно-инженерных, железнодорожных и специально-технических батальонов.
Формально Армянский легион имел статус бригады, но по количеству личного состава он представлял собой дивизию. Общая численность всего личного состава на 1943 год достигала 22 тыс. человек, но только 7 тыс. из них были вооружены и находились в стрелковых батальонах. Остальные 7 тыс. состояли в резерве, а 8 тыс. несли службу в строительных и конструкционных батальонах. На вооружении армян-добровольцев в составе соединения имелось преимущественно легкое оружие: ручные пулеметы, ротные минометы, противотанковые ружья и карабины германского производства.
В конце августа 1942 года некоторые части армянского соединения были отправлены на Восточный фронт. При этом их личному составу, как и грузинам, в целях сохранения тайны было приказано выдавать себя за испанских басков, а азербайджанцам и северокавказцам – за боснийских мусульман.
Ответственным за деятельность всех стрелковых батальонов Армянского легиона являлся штандартенфюрер Вартан Саркисян. Он родился в Тифлисе в 1898 году, в 1935 году окончил военную академию в Ленинграде. В плен к немцам попал в 1941 году. С декабря 1944 года он командовал разрозненными остатками армянских стрелковых и кавалерийских частей СС, которые были включены в Кавказское кавалерийское соединение СС, общей численностью около 2400 бойцов. Из этого количества только около 470 человек были армянами. В самом конце войны Саркисян и несколько десятков армян-добровольцев, которые сумели уцелеть, сдались в плен союзникам, но те, по договору, передали их советским властям. Все из этой группы, включая штандартенфюрера Саркисяна, все как предатели были расстреляны в конце мая 1945 года.
Боевые действия Армянского легиона на Кавказе в период с июля 1942 по январь 1943 года велись в рамках общегерманского плана захвата нефтяных районов Северного Кавказа. План предусматривал окружение и разгром войск Северного фронта севернее и северо-западнее Ростова, захват Северного Кавказа, затем обход Кавказского хребта с запада для овладения городами Новороссийск и Туапсе. Обходом Кавказского хребта с востока намечалось взятие Грозного и продвижением в юго-восточном направлении захват Баку. Одновременно германская армия должна была в центре перейти через Кавказский хребет и, пройдя через перевалы, выйти в Закавказье для воссоединения с дивизиями Турецкой армии, размещёнными по всей протяжённости границ Грузии и Армении. Считалось, что в случае удачного исхода и полнейшего захвата Закавказских республик откроется возможность дальнейшего продвижения германской армии на страны Средней Азии.
Для осуществления этого плана была отведена группа армий «А». Быстрое и стремительное наступление ее соединений создало все условия для окружения и уничтожения советских войск на восточном направлении. Части Красной Армии поспешно отступали к предгорьям Северного Кавказа в направлении Грозного. До конца года противником было захвачено несколько районов Северного Кавказа.