Родился в семье состоятельного еврейского торговца. Начальное образование получил в хедере. Закончил реальное училище (1893). Служил в армии. Работал бухгалтером в Клинцах, управляющим на сахарном заводе в Киеве. С 1898 г. член РСДРП. В 1901 г. был арестован. Бежав из тюрьмы и находясь в эмиграции в Швейцарии, вступил в ряды большевиков (1903). В 1908 г. в Париже, как рассказывает о нем Владимир Орлов (1882–1941), действительный статский советник, русский контрразведчик, «при попытке разменять пятисотрублевую купюру был арестован по подозрению в соучастии в ограблении банка в Тифлисе» и выслан из Франции в Англию, где провел 10 лет. Женился там на Айви Лоу (1916), девушке из семьи еврейских политических эмигрантов из Венгрии. «Он и его брат [Савелий], который разыскивался полицией Берлина по обвинению в мошенничестве, согласно английским документам, были неоднократно судимы в Англии., и, по-видимому, по этой причине англичане долго отказывались признать его [впоследствии] в качестве [советского] посла в Лондоне».
Дипломатическая карьера Литвинова началась в 1918 г., когда он стал дипломатическим представителем РСФСР в Великобритании. Тогда же в ответ на арест в России британского дипломата Б. Локкарта был задержан и месяц провел в английской тюрьме. Был освобожден в ходе состоявшегося между странами обмена дипломатами.
Г. В Чичерин считал М. М. Литвинова, «англофила», главным своим оппонентом в вопросах советской внешней политики на Востоке (когда Литвинов стал наркомом, то аравийское направление в работе НКИД и вовсе сошло на нет). Признавая М. М. Литвинова, своего заместителя, «отличным купцом и отличным техником ведения переговоров», Г. Чичерин в то же время называл его «плохим политиком», сводившим «все многообразие внешнеполитических задач к узкомеркантильным моментам». В одном из писем А. И. Рыкову, главе советского правительства, и вовсе отзывался о нем как об «источнике всего зла» в его работе в НКИД.
Со слов сбежавшего на Запад Бориса Божанова, личного секретаря (1923–1928) И. В. Сталина, Чичерин и Литвинов ненавидели друг друга «ярой ненавистью». В докладных записках в Политбюро крайне нелицеприятно отзывлись друг о друге. Чичерин называл Литвинова «хамом и невеждой, грубым и грязным животным». Литвинов, в свою очередь, писал, что Чичерин – «педераст, идиот и маньяк…. работающий только по ночам, чем дезорганизует работу наркомата».
Скончался М. М. Литвинов 31 декабря 1951 г., после перенесенного инфаркта (13).