Начавшаяся Великая Отечественная война потребовала от советских дипломатов активных действий по созданию антигитлеровской коалиции. Вышинский, как и другие руководители наркомата, постоянно в центре событий. 12 июля он присутствовал при первом акте, ведущем к созданию такой коалиции, - подписании соглашения Советского Союза с Великобританией о совместных действиях в войне против Германии. В ряде стран немцы организовывали различного рода провокации с целью поссорить их с Советским Союзом. А.Я. Вышинский в своих беседах с представителями заинтересованных государств и заявлениях неоднократно опровергал всякого рода домыслы: будь то о бомбардировке советскими самолетами Болгарии и высадке парашютистов или же о бомбардировке г. Хапаранда в Швеции.
В октябре 1941 года центральный аппарат Наркоминдела и дипломатический корпус были эвакуированы в Куйбышев в связи с приближением немецких войск к Москве. 22 января 1942 г. Вышинский подписал советско-польское соглашение о предоставлении правительством СССР правительству Польши займа в размере 300 млн. рублей на содержание польской армии на территории СССР. В тот же день он оформил соглашение о предоставлении правительству Чехословакии займа в сумме 5 млн. рублей на содержание чехословацкой бригады на советской территории.
В октябре 1943 года в Москве состоялась конференция министров иностранных дел СССР, США и Великобритании, в которой принял участие и Вышинский. По предложению советского правительства конференция рассмотрела вопросы сокращения сроков войны против гитлеровской Германии и ее союзников в Европе и открытия второго фронта. Было решено создать Европейскую консультативную комиссию и Консультативный совет по вопросам Италии. Для участия в работе этого союзнического органа 18 ноября в Алжир, где находилась штаб-квартира союзников, выехал Вышинский. Это был его первый выезд за границу. Там он получил и некоторый опыт многосторонней дипломатии, впервые председательствуя на заседаниях союзного Консультативного совета, на которых рассматривались повседневные политические вопросы и координация политики союзников в отношении Италии.
В феврале 1945 года Андрей Януарьевич Вышинский - член советской делегации на Ялтинской конференции руководителей трех союзных держав, участвует в работе одной из ее комиссий. В апреле того же года он присутствовал при подписании договоров о дружбе и взаимопомощи с Польшей, Югославией и другими государствами.
Победоносное завершение войны было ознаменовано 9 мая 1945 года подписанием немцами Акта о безоговорочной капитуляции. Привез текст Акта в Берлин Вышинский, который оказал маршалу Жукову правовую поддержку в столь важный и ответственный момент. Фотография процедуры подписания отразила и присутствие Вышинского. После короткого пребывания в Москве он вновь, уже в составе советской делегации, едет в июле в Берлин на Потсдамскую конференцию руководителей трех союзных держав - СССР, США и Великобритании, которая решала вопросы послевоенного устройства Германии.
В январе 1946 года советское правительство назначило делегацию СССР на первой сессии Генеральной Ассамблеи ООН во главе с Вышинским. Выступая, он, правда, еще употреблял выражения "наши американские и английские друзья", но очень скоро, по мере усиления холодной войны, стали крепчать и речи Вышинского. Подтверждая, что "демократия - это есть ограничение тирании", он одновременно выступал против "принципа неограниченной свободы".
В 1948 году А.Я. Вышинский представлял интересы СССР на Дунайской конференции в связи с выработкой новой конвенции о режиме судоходства на Дунае и в Совете Безопасности ООН по берлинскому вопросу. Ему даже удалось в неофициальном порядке согласовать с председателем Совета Безопасности представителем Аргентины Брамуглиа проект решения вопроса о положении в Берлине. Но потребовалось еще несколько месяцев, прежде чем была снята блокада Западного Берлина. Вышинский присутствует при подписании договоров о дружбе, сотрудничестве и взаимопомощи с Румынией и Венгрией. Участвует в переговорах по выработке аналогичного договора с Финляндией.
7 марта 1949 года Вышинский назначается министром иностранных дел СССР. На собрании сотрудников МИД он требует выполнения не только своих указаний, но и приказов, подписанных ранее Молотовым. Остаются на своих местах и основные руководящие работники МИД. Вместе с тем он отдает ряд распоряжений по укреплению дисциплины среди сотрудников, ограничению их выступлений в печати и использования архивных документов при защите диссертаций.