Не помогла и беседа Трояновского с Рузвельтом, состоявшаяся 30 апреля в присутствии государственного секретаря Хэлла и его заместителя Мура. Президент уклонился от обсуждения спорных вопросов по существу и фактически подтвердил жесткую позицию, которую занимал Госдепартамент.
Судя по всему, в Вашингтоне сложилось мнение, что Советский Союз оказался в затруднительном положении из-за давления на Востоке со стороны Японии и нараставшей напряженности на Западе. А следовательно, считалось, что Москва будет вынуждена искать поддержки у США, и это заставит советскую сторону пойти на уступки в вопросе о долгах и кредите.
Рузвельт в беседах с отцом проявлял особый интерес к тому, как он оценивает положение на Дальнем Востоке и дальнейшие планы Японии. Он как бы прощупывал, не чувствует ли Советский Союз нависающей угрозы с ее стороны. Активно эту тему эксплуатировал и Буллит в своих беседах в Москве.
Прогноз, которого придерживался советский посол, сводился к тому, что Япония завязла в Китае и в ближайшее время особых неожиданностей с ее стороны вряд ли следует ожидать. Использовал он и частное письме от Сидехары, о котором уже шла речь. В той же беседе с Рузвельтом отец передал и мнение Литвинова о том, что в будущем сократить экспансионистские аппетиты Японии окажется нелегко. Она не будет слушать отдельно ни Америку, ни СССР, но другое дело, если мы будем выступать вместе. Тут отец с Литвиновым был целиком солидарен.
А вот в вопросе о кредитах у него с наркомом назревал конфликт. Литвинов, видимо, чувствовал свою ответственность за то, что вопрос взаимных финансовых претензий не был окончательно согласован на его переговорах в Вашингтоне. В возникшей ситуации он пытался возложить вину за создавшееся тупиковое положение на посольство. 7 июля 1934 года он писал отцу: «…Я должен откровенно сказать Вам, что у меня создалось впечатление, что Вы невнимательно читаете наши шифровки и письма, в которых Вам даются совершенно точные директивы и указания. Оттого получилось уже столько недоразумений…»
Переписка между Москвой и Вашингтоном принимала все более острый характер. А в марте 1934 года произошел следующий инцидент. Трояновский, не зная, что Моссовет изменил свою позицию относительно предоставления американскому посольству участка на Воробьевых горах, сообщил Буллиту, что московские власти готовы удовлетворить его просьбу. Возмущенный этим, Литвинов направил Сталину письмо, которое заканчивалось гневным словами: «Так как это не первый случай недисциплинированности Трояновского и игнорирования директив НКИД (достаточно вспомнить стоившую нам многих десятков тысяч руб. и неприятностей историю с японским театром), я должен предупредить, что если Трояновскому вовремя не будет сделано соответствующее внушение и предупреждение против «самостийности», то мы не ограждены от крупных неприятностей с Америкой».
В июле 1934 года посольство получило копию представленной руководству записки о разговоре Литвинова с Буллитом 13 мая. В ней было сказано: «Сделанное сегодня Буллитом предварительное предложение очень напоминает мысли, высказанные в разных шифровках Трояновским. Приходится думать, что либо Трояновский передал мысли, изложенные ему американцами, не упомянув об этом, или же, что будет гораздо хуже, он сам подсказывал американцам сегодняшнее предложение».
Если до этого отец оставлял колкие замечания наркома без должного ответа, то теперь он решил, что дальше не реагировать нельзя. 24 июля 1934 года он обратился к Сталину с личным письмом, где указывал, что его предложение серьезно отличалось от проекта Буллита. Он заявил далее, что, «…если бы я подсказывал без согласия своего правительства какие-то предложения, которые идут вразрез с предложениями, сделанными с нашей стороны, я был бы повинен в большом преступлении…
Обвинение, выдвинутое по моему адресу Литвиновым, я не могу оставить без внимания. Я знаю, что этот человек зол на меня до последней крайности за то, что ЦК не согласился с его позицией по вопросу о кандидатурах для полпредства и консульств в Америке. Свою злобу он вымещает теперь вместо ЦК на мне…
У меня могут быть упущения и ошибки, но в нечестности меня еще никогда никто не обвинял. При создавшейся обстановке все, что я буду предлагать, будет встречаться Литвиновым не только критически, что неплохо, но непременно враждебно.
Обдумывая это, я вынужден ставить вопрос о моем отзыве отсюда.
Я никогда не горел желанием работать за границей и очень хочу работать в Москве. Моя кратковременная работа в Госплане меня больше удовлетворяла, чем работа здесь. И, кажется, я работал там неплохо. Я хочу этим сказать, что я способен к другой работе, кроме дипломатической…
Я очень прошу по получении этого моего письма принять просимое мной решение и уведомить меня шифровкой.