По его инициативе был заключён Договор о запрещении испытаний ядерного оружия в трёх средах в 1963 году, Договор о нераспространении ядерного оружия в 1968 году, Договоры между СССР и ФРГ в 1970 году, Договор об ограничении систем ПРО и о принципах взаимоотношений между СССР и США в 1972 году, о недопущении ядерной войны — в 1973 году, об ограничении стратегических вооружений в 1972 и 1979 годах, а также Заключительный акт Совещания по безопасности и сотрудничеству в Европе в 1975 году.
Однако Громыко в 1968 году поддержал ввод войск Варшавского договора в Чехословакию и подавление «Пражской весны», а в 1979 году вместе с Андроповым и Устиновым убедил Брежнева принять решение о вводе советских войск в Афганистан
Он был одним из ближайших соратников Брежнева. В марте 1985 года на заседании Политбюро выдвинул кандидатуру Горбачёва на должность Генерального секретаря ЦК КПСС. Это была закулисная договоренность — в обмен на избрание Горбачева он получил пост председателя Президиума Верховного Совета СССР, формального став главой Советского государства.
Девиз Громыко на посту министра иностранных дел был: «Лучше 10 лет переговоров, чем один день войны». По оценке министра иностранных дел РФ Лаврова, Громыко был «великим дипломатом советской эпохи».
Позже он объяснял свою неуступчивую позицию на переговорах с канцлером ФРГ Аденауэром в 1955 году и позже по вопросу о «нерушимости границ» в Европе: «Не будем менять итоги войны. Если мы им уступим, то прокляты будем всеми замученными и убитыми. Когда я веду переговоры с немцами, то, случается, слышу за спиной шёпот: «Не уступи им, Андрей, не уступи, это не твоё, а наше».
Его политическая карьера была успешной. После окончания 7‐летней школы Андрей Громыко учился в профессионально-технической школе в Гомеле, затем в сельскохозяйственном техникуме, где был секретарём комсомольской организации.
В 1931 году в возрасте 22 лет стал членом ВКП(б), секретарём партийной ячейки и поступил в Белорусский государственный институт народного хозяйства, где познакомился с Лидией Дмитриевной Гриневич, которая стала его женой. В 1932 году у них родился сын Анатолий, а в 1937 году — дочь Эмилия.
После окончания двух курсов Громыко был назначен директором Каменской сельской школы, продолжая обучение в институте заочно. Тогда же по рекомендации ЦК Компартии Белоруссии он был принят в аспирантуру при Академии наук БССР, готовившую экономистов широкого профиля. В 1934 году его перевели в Москву.
В 1936 году, работая над диссертацией, Громыко углублённо изучал английский язык и конце 1938 года стал учёным секретарём Института экономики Академии наук СССР. По совместительству он читал лекции по политэкономии в Московском институте инженеров коммунального строительства. Его планировали направить учёным секретарём в Дальневосточный филиал Академии наук.
Громыко много занимался самообразованием. Перечитывал мемуары председателя правительства России Витте. Фалин вспоминал, что Громыко мог свободно страницами цитировать Евангелие, а кроме чтения лекций рабочим и колхозникам участвовал в соревнованиях по стрельбе, получил знак «Ворошиловский стрелок» и пытался поступить в авиационное училище, но не был принят по возрасту.
В своих мемуарах «Памятное» Громыко ни словом не упомянул о репрессиях 1930‐х годов, но в биографии, изданной в 2002 году, утверждал, что репрессии и «чистки» в Наркомате иностранных дел изменили его судьбу. В 1939 году его пригласили в комиссию ЦК под председательством Молотова и Маленкова, которая подбирала кадры для дипломатической работы из лиц с рабоче-крестьянским происхождением и знанием иностранного языка.
Громыко идеально подходил для этой работы — кроме владения английским языком, он был широко образован, молод и имел рост 185 сантиметров. В этом году в дипломатию вместе с ним пришли Малик, Зорин, Добрынин и сотни других рабочих и крестьян. В мае 1939 года Громыко был уже заведующий Отделом американских стран НКИД.
Однако осенью 1939 года его назначили советником в посольстве СССР в США. Одним из его неформальных наставников стал начальник Отдела Генштаба — сотрудник ГРУ генерал-лейтенант Васильев. Поэтому, когда в 1944 году Громыко возглавлял советскую делегацию в США по созданию ООН, Васильев был его консультантом по военным вопросам.
С 1939 по 1943 год Громыко был советником полномочного представительства СССР в США. Но дружеских отношений с послом в США Литвиновым у него не сложилось. В 1943 года Литвинов перестал устраивать Сталина и был отозван в Москву, и должность посла занял Громыко. Одновременно он был посланником СССР на Кубе. Так Сталин освободился от своего серого кардинала Литвинова, который слишком активно вел «свою игру» с Западом, заменив его просто компетентным советником — Громыко.