Защитив в 1936 году кандидатскую диссертацию по проблемам экономики в сельском хозяйстве, Громыко был принят в Институт экономики АН СССР старшим научным сотрудником, а затем стал ученым секретарем. Он мечтал о карьере экономиста, но судьба распорядилась иначе.
В начале 1939 года Громыко пригласили в комиссию ЦК партии, подбиравшую из числа коммунистов новых работников, которые могли бы быть направлены на дипломатическую работу. «Ты прав, — говорил Андрей Андреевич много лет спустя сыну, — я стал дипломатом по случайности. Выбор мог бы пасть на другого парня из рабочих и крестьян, а это уже закономерность. В дипломатию вместе со мной таким же образом пришли Малик, Зорин, Добрынин и сотни других».
Карьера Громыко развивалась стремительно. В мае 1939 года он впервые переступил порог МИДа, в то время НКИД, и сразу же получил ответственный пост заведующего Отделом Американских стран. Вскоре последовала и первая загранкомандировка — с октября 1939 года он был советником посольства СССР в США.
В августе 1943 года 34-летний Громыко стал послом СССР в Вашингтоне. Он оказался в самой гуще международных событий. Участие в подготовке и проведении конференций в Ялте, Потсдаме, Думбартон-Оксе и Сан-Франциско сделало его сопричастным к формированию послевоенного мироустройства.
В 1946 году, несмотря на нападки западной прессу на советского дипломата, многие уже тогда отдавали ему должное. Громыко, говорилось в одном из заявлений, «необычайно остроумен, искусный диалектик, специалист по ведению переговоров с большими способностями, он всегда вежлив, как будто специально готовил себя к тому, чтобы освободиться от человеческих слабостей». Громыко держался довольно независимо, позволял себе высказывать мнения, не всегда совпадающие с точкой зрения руководства МИД. 24 июня 1947 года на письмо В.М. Молотова, в котором говорилось, что посол ошибается, относя Эйзенхауэра к «менее агрессивным элементам» в американском истеблишменте, Громыко кратко, но весомо ответил, что имеет «иную информацию по этому вопросу».
В августе 1947 года журнал «Тайм» писал: «Как постоянный представитель Советского Союза в Совете Безопасности Громыко делает свою работу на уровне умопомрачительной компетентности».
Громыко стоял у истоков ООН. Под Уставом этой организации стоит его подпись. В 1946 году он стал первым советским представителем в ООН и одновременно заместителем, а затем первым заместителем министра иностранных дел. Громыко был участником, а впоследствии главой делегации нашей страны на 22 сессиях Генассамблеи ООН.
Известна особая роль Андрея Андреевича в переломный для Ближнего Востока 1947 год, когда Организация Объединенных Наций должна была принять решение о судьбе Палестины.
В начале своей деятельности, в разгар холодной войны, ООН являлась ареной столкновений между Востоком и Западом. Не раз в те годы Громыко приходилось использовать право вето в Совете Безопасности, отстаивая внешнеполитические интересы СССР. И все же ООН сыграла решающую роль в предотвращении глобального конфликта.
В феврале 1957 года Громыко стал министром иностранных дел СССР. В это время мир оказался на грани военного конфликта. От министра иностранных дел Советского Союза требовалось немало умения, сил и энергии, чтобы не допустить развития событий по наихудшему сценарию.
«Вся внешняя политика проходила, по существу, под знаком личного влияния, под знаком его личности, — пишет переводчик и дипломат В. Суходрев. — Он исключительно твердо придерживался утвержденной позиции. Он менее всего любил „перейти на запасную позицию“. Громыко предпочитал истолковывать обстоятельства как не позволяющие перейти на запасную позицию, вернуться в Москву, доложить о том, что противоположная сторона не пошла на ту или иную договоренность, и оставить запасную позицию для очередного раунда переговоров. Он очень упорно, как бульдог, цеплялся за наши позиции, отстаивал их».
Громыко был сторонником мирных отношений с США, другими странами Запада. Он ненавидел войну. Два его брата, Алексей и Федор, погибли, на войне. В области разоружения, как писал в своих воспоминаниях Громыко, СССР выдвинул более ста инициатив. На Западе его называли «Человек Нет». Громыко относился к этой характеристике добродушно. Как-то он сказал: «Мои „нет“ они слышали гораздо реже, чем я их „ноу“, ведь мы выдвигали гораздо больше предложений».
«Советская внешнеполитическая доктрина, — говорил он, — это — мирное существование между социализмом и капитализмом. Ленин назвал это „сожительством“, но привилось именно это слово „существование“, очевидно, как более благозвучное. Кстати, само слово „доктрина“ у нас тоже не в ходу, мы говорим — „принципы мирного существования“».
Серьезным испытанием не только для советско-американских отношений, но и для судеб мира стал Карибский кризис 1962 года. Потребовалось немалое дипломатическое искусство, чтобы в сжатые сроки достигнуть компромисса. Это позволило отойти от чрезвычайно опасной черты, у которой человечество находилось в тот момент.