Родился на хуторе Стоговском Верхнедонского района Ростовской области. Учился в средней школе в станице Казанской, после окончания которой поступил в Тбилисское артиллерийское училище, но из-за болезни его не окончил. Весной 1941 начал работать в Верхнедонском райкоме комсомола, а в октябре его призвали в армию. В течение двух лет служил в райвоенкомате. В феврале 1944 выпросился на фронт. В течение года командовал взводом, ротой, батальоном, участвовал в многочисленных боях. Насколько храбро и отважно сражался А. М. Рекунков, можно судить по его наградам. Только в 1944 Александр Михайлович получил один за другим четыре боевых ордена: два ордена Отечественной войны II степени, орден Отечественной войны I степени и орден Красной Звезды. В феврале 1945 тяжелое ранение вывело молодого офицера из строя.
После выписки из госпиталя Александр Михайлович по направлению райкома партии пришел работать в органы прокуратуры. Начинал с должности помощника прокурора Верхнедонского района, на которую был зачислен в августе 1945. С тех пор вся его жизнь была связана с органами прокуратуры. В октябре 1947 Рекункова назначили на «процессуальную» должность — прокурором Константиновского района Ростовской области. В 1952 он становится прокурором более крупного, Азовского района. За эти годы без отрыва от работы окончил Ростовский филиал Всесоюзного юридического заочного института, сдав все государственные экзамены на отлично. В 1958 Рекунков занял должность первого заместителя, а в 1960 — прокурора Брянской области. В 1966–1971 он был прокурором Воронежской области. В 1971–1976 — первым заместителем Прокурора РСФСР.
В 1976 А. М. Рекунков назначается первым заместителем Генерального прокурора СССР. В этой должности он работал около пяти лет. 9 февраля 1981 Александр Михайлович Рекунков возглавил Прокуратуру Союза ССР, стал действительным государственным советником юстиции. К его боевым орденам присоединились два ордена Трудового Красного Знамени, орден Октябрьской революции. Кресло Генерального прокурора СССР он оставил 26 мая 1988, подав рапорт об отставке. До последнего дня жизни А. М. Рекунков не прерывал своих связей с прокуратурой. Был прокурором в отделе по реабилитации жертв политических репрессий, помощником Генерального прокурора Российской Федерации по особым поручениям.
А. М. Рекунков умер 23 мая 1996 года.