Произведенный в июне 1940 году в генерал-майоры (вместе с Василевским и многими другими), Антонов во время массовых чисток командного состава в январе 1941 года сменил генерал-лейтенанта Г. К. Маландина на посту заместителя начальника штаба Киевского особого военного округа, где и встретил начало войны. Он пережил позорные поражения Красной Армии летом 1941 года под Киевом и в мае 1942 года – под Харьковом. В декабре 1942 года Василевский перевел Антонова в Генеральный штаб, где тот служил одновременно начальником оперативного управления и первым заместителем начальника Генштаба. Передав в мае 1943 года свой пост в оперативном управлении Генштаба С. М. Штеменко, Антонов стал первым заместителем начальника Генштаба и занимал эту должность до февраля 1945 года, когда сменил Василевского и стал полноправным начальником Генштаба.65
Во время своей службы в Генеральном штабе Антонов принимал участие в планировании и контроле за проведением всех крупных операций Красной Армии после декабря 1942 года.
В качестве награды за превосходную службу в феврале 1945 года вместе с Василевским он был назначен членом Ставки. Он также служил советником Сталина на самых важных конференциях союзных держав – в том числе на Ялтинской и Потсдамской в феврале и в июле-августе 1945 года. Образцовое профессиональное мастерство и здравые стратегические суждения Антонова заслужили уважение Сталина и пиетет со стороны всех, кто работал с ним или под его руководством. Кроме того, встречавшиеся с ним иностранцы соглашались с мнением президента США Трумэна о том, что Антонов был «высокоэффективным штабным офицером и администратором».66