Отныне и до самого своего конца, Литвинов будет настойчиво и упрямо добиваться сближения со странами западной демократии — Великобританией, Францией и США. Им же будут торпедироваться все попытки сблизить СССР с Германией и Италией.
На протяжении 20-х годов Литвинов, заместитель наркома иностранных дел, был в жёсткой оппозиции к самому наркому НКИД Чичерину, считавшему краеугольным камнем советской внешней позиции договор с Германией, который был заключён в Рапалло. Он приложил все усилия для того, чтобы в 1922 году провалить договор с фашистской Италией.
В конце 1925 года Совет Лиги Наций (сама Лига контролировалась Англией и Францией) принял решение создать подготовительную комиссию, с тем чтобы организовать широкую международную конференцию по вопросам всеобщего разоружения. При этом Совет пригласил принять участие в работе комиссии страны, которые не являлись членами Лиги, — США, Германию и СССР. Советское руководство приглашение приняло, но выступило против самого места проведения — Швейцарии. Дело в том, что с этой страной СССР разорвал все отношения ещё в 1923 году в связи с убийством Воровского. Чичерин указывал на то, что, упорно держась за Швейцарию, Совет Лиги на самом деле не желает присутствия там нашей страны. Ехать в Швейцарию, по его мнению, означало унизить себя перед Западом, напроситься в гости к негостеприимному хозяину. Однако его заместитель Литвинов настоял на участии в работе комиссии, что было серьёзной моральной уступкой Западу.
В 1928 году министр иностранных дел Франции Бриан и госсекретарь США Келлог выступили с «миротворческой инициативой». Они призвали страны мира к отказу от агрессивных войн. Чичерин был против присоединения к пакту Бриана-Келлога, тогда как Литвинов выступил «за». Вся загвоздка состояла в том, что СССР никто присоединяться к указанному пакту не приглашал. И снова Литвинов настоял на своём, лишний раз продемонстрировав Англии и Франции свою готовность добиваться их дружбы.
Но звёздный его час наступил в 1934 году. Тогда, будучи уже сам наркомом НКИД (с 1930 года), Папаша станет осуществлять новый курс советского руководства, призванный создать систему «коллективной безопасности» в Европе. Предполагалось включить в неё СССР, Великобританию, Францию, Польшу, Чехословакию и Румынию.
Сталин осуществил поворот к демократическому Западу ввиду того, что с приходом к власти Гитлера возник ещё и Запад фашистский, настроенный агрессивно в отношении России. Дух Рапалло исчез, зато возникла угроза крупномасштабного германского вторжения в нашу страну, о необходимости коего Гитлер писал в «Майн кампф». Расчётливому вождю очень не хотелось оставаться один на один с немецкой армией. Ещё меньше его радовала перспектива оказаться перед лицом единого антисоветского фронта. Поэтому Сталин и пошёл на сближение с демократами, резонно считая, что лучше всего с данной задачей справится такой западник, как Литвинов. Знаком особого доверия стала значительная автономия НКИД от партийного руководства. Даже летом 1934 года, когда все правительственные ведомства оказались строго подчинены отделам ЦК и его секретарям, данный наркомат оказался вне этого подчинения.
Но при всём при том вождь с присущей ему хитростью не захотел класть, как говорится, «все яйца в одну корзину». Выступая за сближение с демократиями явно, Сталин втайне налаживал контакты с нацистами — на случай того, что сближение с Англией и Францией потерпит неудачу. История доказала правоту Сталина, который вовсе не собирался связывать судьбу советской внешней политики исключительно с Антантой.
Другое дело — Литвинов. Для него западничество было не политическим манёвром, а мировоззрением. Скорее всего, он надеялся на некоторую конвергенцию капитализма и коммунизма, важнейшим следствием которой должна была стать демократизация советского строя по западному образцу. Именно поэтому Литвинов столь активно поддержал сталинскую конституционную реформу 1936 года, призванную ввести в СССР парламентскую систему, внешне напоминающую западную.
В отличие от Сталина Литвинов не допускал и мысли о возможности сближения с немцами. Когда он узнал о миссии Конделаки, то немедленно подал заявление об отставке, но оно не было принято. Будучи наркомом НКИД, Литвинов вёл себя вызывающе в отношении Германии — страны, с которой СССР поддерживал нормальные дипломатические отношения. Он мог игнорировать немецкого посла Шуленбурга, не встречаясь с ним по нескольку месяцев. Бывая неоднократно транзитом в Германии, Литвинов ни разу не встретился с кем-либо из её высших официальных лиц.