С 1946 по 1948 год Громыко — заместитель министра иностранных дел и постоянный представитель СССР при ООН, а затем глава делегации СССР на 22 сессиях Генеральной Ассамблеи ООН, где журнал Time отмечал его «умопомрачительную компетенцию». С 1949 по 1952 год — первый заместитель министра иностранных дел.
В 1950 году без консультаций с Кремлём под нажимом из Госплана и Минфина он завизировал соглашение с КНР о соотношении рубля и юаня. Это вызвало недовольство Сталина, который лично контролировал экономические связи с Китаем. Сталин ему этого не простил и спустя два года снял Громыко с поста первого замминистра и отправить его послом в Лондон, где он проработал с июня 1952 по апрель 1953 года.
В 1951 году на Сан-Францисской мирной конференции Громыко пытался добиться от США и Великобритании признания суверенитета СССР над Северными Курилами — островами Шикотан, Кунашир и Итуруп, но эти поправки были отклонены делегациями США и Великобритании и не вошли в итоговый текст мирного договора.
СССР отказался подписать договор, поэтому принадлежность Южного Сахалина и Курильских островов не была определена. Поэтому в 1992 году МИД Японии пояснил в официальном меморандуме, что «Япония никогда не будет требовать территории, от которых она отказалась».
На Сан-Францисской конференции Япония отказалась по договору от всех прав на Южный Сахалин и Курильские острова, за исключением островов Шикотан, Кунашир и Итуруп, которые считала своей территорией. Эта проблема до сих пор остаётся предметом российско-японских переговоров.
После смерти Сталина главой МИДа вновь стал Молотов, который отозвал Громыко из Лондона, и 1953 по 1957 год он занимал должность первого заместителя МИДа. В 1954 году он участвовал в подаче заявки СССР на членство в НАТО. 31 марта 1954 года официальная нота с прошением о членстве в НАТО была отправлена правительствам США, Великобритании и Франции. Запад ответил отказом.
С 1957 по 1985 год, на протяжении 28 лет, Громыко бессменно возглавлял МИД СССР и внёс заметный вклад и в процесс переговоров по контролю над гонкой вооружений.
Во время Карибского кризиса 1962 года Громыко оказался в сложном положение на переговорах с американским президентом Кеннеди. Он без энтузиазма воспринял затею Хрущёва, считая, что «…завоз на Кубу наших ядерных ракет вызовет в Соединённых Штатах политический взрыв». В ответ американцы готовы были начать массированное вторжение на Кубу.
В мемуарах Громыко отметил, что это были самые тяжёлые переговоры в его дипломатической практике. Ещё в Москве с Хрущёвым была слово в слово согласована решающая реплика Громыко на случай, если Кеннеди прямо спросит о ракетах. «Господин президент, — должен был сказать Громыко, — Советский Союз доставил на Кубу небольшое количество ракет оборонительного характера. Никому и никогда они не будут угрожать».
Однако слово «ракеты» по необъяснимым для Громыко причинам Кеннеди в своей речи не употребил и фотографии размещённых на Кубе ракет, находившиеся в ящике его стола, так и не достал. По словам Громыко, Кеннеди сдержался потому, что «не хотел раскрыть американский план действий» на случай, если конфликт перейдёт в горячую фазу, и выразил убеждённость, что на большую войну США не пойдут.
Но участвовавший в переговорах госсекретарь США Дин Раск рассказал, что Кеннеди предоставил Громыко «возможность признаться», но в ответ услышал «такое количество наглой лжи, какого я никогда прежде не слыхивал», а Громыко отрапортовал в Москву, что правительство США поражено смелостью акции СССР по оказанию помощи Кубе и отдаёт себе отчёт в решимости Советского Союза дать отпор в случае нового американского вторжения на Кубу.
После нервного обмена письмами между Кеннеди и Хрущёвым ситуация приблизилась к опасной черте. 24 октября Кеннеди отдал приказ о переводе впервые за послевоенную историю Стратегического воздушного командования США в состояние Defcon-2, означающее готовность к ядерной войне. Тогда к делу подключилась советская внешняя разведка.