Начальником Генерального штаба был вновь назначен Б. М. Шапошников, а его заместителем и начальником оперативного управления — Василевский. Генеральный штаб не смог своевременно предугадать замысел противника захватить Москву. 30 сентября началась операция «Тайфун»; противник прорвал фронт и окружил в районе Вязьмы четыре советские армии.
Для удержания обороны в районе Гжатска и Можайска туда прибыли В. М. Молотов и К. Е. Ворошилов от Государственного комитета обороны и Василевский — от Ставки.
В результате нависшей над Москвой угрозы большая часть Генерального штаба была эвакуирована в Куйбышев. В Москве осталась лишь оперативная группа для обслуживания Ставки из десяти человек под руководством Василевского.
В разгар битвы за Москву по личному указанию Сталина Василевскому было присвоено звание генерал-лейтенанта.
В мае 1942 года из-за тяжелого заболевания Шапошников был освобожден от обязанностей начальника Генерального штаба. Эту должность занял Василевский. Ему было присвоено звание генерал-полковника.
В самом начале мая войска вермахта прорвались в Крым. Начался последний этап обороны Севастополя, продлившийся до 4 июля. В те же дни развернулись операции в районе Харькова. Вначале они шли успешно, но вскоре немецкие войска сами перешли в наступление и к середине мая вышли в тыл войскам Юго-Западного фронта, развернув наступление на юг в направлении Кавказа и Сталинграда.
В конце августа Василевский приехал в район Сталинграда на Юго-Восточный фронт, позднее получивший название Сталинградского, которым командовал А. И. Еременко. Ставка приказала не сдавать Сталинграда. После разговора со Сталиным Василевский принял решение сосредоточить севернее и северо-западнее Сталинграда две-три армии из резерва Ставки и их силами ликвидировать части прорвавшегося противника. Планом операции предусматривался удар по флангу немецкой группировки, прорыв их обороны танковыми и механизированными корпусами Сталинградского и Юго-Западного фронтов с дальнейшим соединением их в районе Калача.
На завершающем этапе Сталинградской битвы Василевский руководил боевыми действиями по окончательной ликвидации группировки вермахта. По его инициативе одна из лучших армий — 2-я гвардейская была брошена против немецкой группы армий «Дон», пытавшейся прорвать окружение 6-й армии Паулюса. За участие в разгроме немецкой группировки в районе Сталинграда Василевский был награжден орденом Суворова I степени.
После Сталинградской битвы немецкое командование решило подготовить наступление на Курском выступе, сложившемся в результате боев зимой и весной 1943 года. На этот раз разведка Генерального штаба своевременно раскрыла замысел противника. Было решено занять жесткую оборону, выбить немецкие танки, измотать противника в оборонительных боях и только тогда перейти в наступление путем введения накопленных резервов.
5 июля началось немецкое наступление на Курской дуге, отражаемое соединением Центрального и Воронежского фронтов. Кульминацией оборонительных боев стало знаменитое танковое сражение под Прохоровкой 12 июля, в котором принимали участие до 1200 танков и самоходных установок. В тот же день перешли в наступление Брянский и Западный фронты, а 15 июля — и войска Центрального фронта.
В августе началась битва за Донбасс — действия Юго-Западного и Южного фронтов координировал Василевский.
Весной следующего года войска фронтов, действия которых координировал Василевский, освободили Никополь, Николаев, Одессу и вышли к Днестру. В день освобождения Одессы 10 апреля Василевский был награжден орденом «Победа».
По предложению Василевского две армии, освободившие Крым, были переброшены в Белоруссию для проведения операции «Багратион», туда же выехало и управление 4-го Украинского фронта. Василевскому было приказано координировать действия 1-го Прибалтийского и 3-го Белорусского фронтов, которыми командовали молодые генералы И. Х. Баграмян и И. Д. Черняховский.
22 июня началось наступление фронтов с освобождением Витебска и Орши. Затем последовало освобождение Прибалтики, которую Василевский не покидал почти до января.
Затем бои перешли в Восточную Пруссию, с хорошо укрепленными районами. После гибели Черняховского в 1945 году Василевский возглавил 3-й Белорусский фронт, действия которого, как и 1-го Прибалтийского, он координировал.
Сразу же после окончания Восточнопрусской операции Александр Василевский был отозван в Москву, где приступил к подготовке плана войны с Японией на Дальнем Востоке. Огромная масса войск и техники была тайно переброшена на Дальний Восток и в Монголию. 9 августа началось наступление, завершившееся 17 августа. Советским войскам сдалась 600-тысячная японская армия. Это был последний акт Второй мировой войны.
В марте 1946 года Василевский стал заместителем министра Вооруженных сил, в 1949–1953 годах — министром Вооруженных сил СССР, в 1953–1957 годах — первым заместителем министра обороны. Затем по болезни он уволился в отставку и с 1959 года был членом группы генеральных инспекторов Министерства обороны СССР.