Вместе с Чичериным Литвинов участвовал в работе советской делегации на Генуэзской конференции в апреле — мае 1922 года. Затем он возглавлял советскую делегацию на международной экономической конференции в Гааге.
Литвинов много занимался организационными вопросами, часто замещал наркома. Его отличали спокойная уверенность, целеустремленность, точность, аккуратность. Если заведующий отделом опаздывал к нему на прием в назначенное время, то он его в этот день уже не принимал. Иностранцам импонировала его точность и конкретность. Литвинов уверенно брал на себя ответственность, проявлял уступчивость в ряде спорных вопросов. Однако он, по словам германского посла в Москве Г. фон Дирксена, «не любил около себя никаких других богов».
В ноябре 1927 года Литвинов впервые во главе советской делегации принял участие в IV сессии Подготовительной комиссии Лиги Наций к конференции по разоружению, предложив по поручению Советского правительства проект немедленного всеобщего и полного разоружения. К сожалению, проект был отвергнут.
С 1928 года Литвинов фактически возглавлял наркомат. Чичерин находился долгое время на лечении за границей. Это давало Максиму Максимовичу широкие возможности для постепенной переориентации советской внешней политики. Он стремился к улучшению отношений прежде всего с западными странами: Великобританией, Францией и США.
Он считал, что для укреплений своего авторитета СССР должен участвовать в различного рода международных пактах и конференциях. Особенно высоко он ставил вопросы разоружения и уделял много внимания переговорному процессу, проводившемуся при его активном участии в Женеве. Одной из первых подобных акций было подписание Литвиновым с рядом соседних с СССР государств Московского (на Западе его называют Литвиновским) протокола от 9 февраля 1929 года о досрочном введении в действие пакта Бриана — Келлога о запрещении войны в качестве орудия национальной политики.
21 июля 1930 года Литвинов был назначен наркомом иностранных дел СССР. Свое кредо он изложил советскому полпреду в Лондоне И.М. Майскому: «Советская внешняя политика, — говорил нарком, — есть политика мира. Это вытекает из наших принципов, из самих основ Советского государства… До сих пор наилучшие отношения у нас были с Германией, и в своих действиях мы старались, насколько возможно, поддерживать единый фронт с Германией или во всяком случае принимать во внимание ее позицию и интересы… Не сегодня завтра к власти придет Гитлер, и ситуация сразу изменится. Германия из нашего „друга“ превратится в нашего врага… Очевидно, что теперь в интересах политики мира нам надо попробовать улучшить отношения с Англией и Францией, особенно с Англией, как ведущей державой капиталистической Европы».
Расчеты Литвинова на быстрое сближение с Великобританией не оправдались. Но было важно, чтобы она не противодействовала политике сближения СССР с другими странами. Уже в ноябре 1932 года был подписан договор о ненападении между СССР и Францией, аналогичные соглашения были заключены с Польшей и рядом других государств Восточной Европы. В 1933 году по приглашению большой группы государств СССР вступил в Лигу Наций. У. Черчилль в своих воспоминаниях писал: «Литвинов, который представлял Советское правительство, быстро приспособился к атмосфере Лиги Наций и пользовался ее моральным языком с таким большим успехом, что он скоро стал выдающимся деятелем».
В своем стремлении содействовать сохранению мира Советское правительство согласилось на участие в региональных пактах взаимопомощи, заключив в 1935 году соответствующие договоры с Францией и Чехословакией. Литвинов резко возражал против высказываний тех политиков и журналистов, которые позже пытались «изобразить эти пакты как какой-то подарок или благодеяние Советскому Союзу». Эти пакты, указывал он, «помимо оказания помощи в случае войны, имеют также целью предотвращение или уменьшение опасности войны в определенных частях Европы».
Успех сопутствовал Литвинову и в другом важном начинании — установлении дипломатических отношений СССР с Соединенными Штатами Америки. Переговоры Литвинова с Рузвельтом в ноябре 1933 года не были легкими. Потребовалась неделя, чтобы добиться соглашения об установлении дипломатических отношений. Одновременно был произведен обмен нотами о пропаганде, то есть о невмешательстве во внутренние дела друг друга, о правовой защите граждан, о пользовании религиозной свободой для американских граждан, проживающих на территории СССР, о судебных делах, согласно которым СССР отказывался от всех исковых прав и претензий к американским гражданам, включая суммы, которые могли причитаться ему по решению американских судов.
В ходе переговоров Литвинову удалось установить прекрасные личные отношений е Президентом Ф. Рузвельтом, с рядом его сотрудников И министров.