Предметом особой гордости Громыко считал подписанный 5 августа 1963 года Договор о запрещении испытаний ядерного оружия в атмосфере, в космическом пространстве и под водой, переговоры по которому тянулись с 1958 года.
К числу успехов отечественной дипломатии во главе с Громыко можно с полным правом отнести предотвращение широкомасштабной войны между Индией и Пакистаном в 1966 году из-за территориального спора о Кашмире. Семь дней подряд — с 4 по 10 января 1966 года — глава правительства А.Н. Косыгин вместе с А.А. Громыко напряженно работали в Ташкенте с руководителями Индии и Пакистана, чтобы достичь взаимоприемлемого компромисса. Результатом Ташкентской эстречи явилось подписание декларации, которая закрепила договоренность между Индией и Пакистаном прилагать все усилия для создания добрососедских отношений. После возвращения министр пригласил к себе мидовцев, участников переговоров, и сказал: «Эта наша общая с вами дипломатическая победа, советская дипломатия доказала свою способность играть роль объективного арбитра. Поздравляю всех. Отказ от применения оружия для решения спорного вопроса — единственно правильно путь, и это мы доказали. Дипломатия — это искусство, причем коллективное».
К числу крупных успехов Громыко относил Договор о нераспространении ядерного оружия, подписанный 1 июля 1968 года. «Он <договор> показал, — говорил Громыко, — что с США и Англией, двумя столпами НАТО, мы можем решить важную проблему. После подписания в Сан-Франциско Устава ООН это была вторая по значению подпись под историческим документом».
Третьим по значимости своим достижением Андрей Андреевич считал соглашения, подписанные с США в 1972–1973 годах, особенно договоры по ПРО и ОСВ-1, а вслед за ними соглашение о предотвращении ядерной войны (1973).
Громыко говорил, что, если собрать документы переговорного характера, в том числе сотни шифротелеграмм, информации из посольств, анализ обстановки вокруг этих проблем, наберется гора высотой с Монблан. «Они покажут, с каким трудом преодолевались заторы на пути к соглашению, сколько для этого требовалось настоящего дипломатического искусства».
Он не любил встреч один на один без переводчиков. В дипломатии старой школы существовал запрет встречаться один на один даже с послами, обязательно должен был присутствовать кто-то из дипломатов. Громыко предпочитал брать с собой на такие встречи только переводчика.
Существенно оздоровило мировую обстановку подписание 18 июня 1979 года Договора между СССР и США об ограничении стратегических наступательных вооружений, или Договора ОСВ-2, важную роль в подготовке которого сыграли переговоры Громыко с госсекретарем США С. Вэнсом, затем с президентом Дж. Картером в 1977–1979 годах.
Особое значение Громыко придавал проблемам Центральной Европы, главной из которых не без оснований считал германский вопрос. Историческими можно назвать соглашения СССР, а затем Польши и Чехословакии с ФРГ в 1970–1971 годах, а также четырехстороннее соглашение по Западному Берлину. Именно эти документы и предшествовавшие им усилия расчистили путь к разрядке и созыву Совещания по безопасности и сотрудничеству в Европе. Андрей Андреевич с большим уважением относился к канцлеру ФРГ Вилли Брандту, Канцлер же вспоминал о первой встрече с советским министром: «Я нашел Громыко более приятным собеседником, чем представял его себе по рассказам об этаком язвительном „мистере Нет“. Он производил впечатление корректного и невозмутимого человека, сдержанного на приятный англосакский манер. Он умел в ненавязчивой форме дать понять, каким огромным опытом он обладает».
Существование на протяжении 40 лет двух Германий явилось следствием раскола мира, который не был преодолен и после войны. Основой строительства государственного единства Германии стал Договор «2+4» — один из краеугольных камней мирного устройства в Европе.
Заметный вклад внесла дипломатия Громыко в прекращение Вьетнамской войны. Итогом длившегося с 1954 года кровопролитного конфликта стало Парижское соглашение 1973 года о прекращении войны и восстановлении мира во Вьетнаме.
Подписанный в августе 1975 года в Хельсинки Заключительный акт имел уже не европейский, а мировой масштаб. Это был по существу кодекс поведения европейских государств, США и Канады в ключевых сферах взаимоотношений, включая военно-политическую. Была закреплена нерушимость послевоенных границ в Европе, чему Громыко придавал особое значение, созданы предпосылки для укрепления стабильности и безопасности в Европе.
В 1976 году госсекретарь США Сайрус Вэнс, выработавший вместе с Громыко соглашение об ограничении стратегических вооружений (ОСВ), сказал о советском дипломате: «…мало кто в современном мире может с ним сравниться… в дипломатии он скрупулезный профессиональный практик, это человек величайших способностей и высочайших способностей и высокого интеллекта, обладающий всеми другими чертами государственного деятеля».