По возвращении из Европы в США Ярдли в полной мере использовал свое уникальное умение убеждать других людей в собственной правоте. В мае 1919 г. он добился от Фрэнка Полка, исполнявшего обязанности государственного секретаря, и от начальника штаба военного министерства согласия на создание «постоянной организации для вскрытия шифров». Эта организация, которая позже стала известна как «Американский черный кабинет», должна была совместно финансироваться двумя министерствами на сумму приблизительно 100 тысяч долларов в год, но ее фактические расходы никогда не достигали этой суммы. По закону платежи госдепартамента, которые начали поступать в июне 1919 г., не могли быть на законных основаниях израсходованы в пределах Вашингтона, и поэтому Ярдли вместе с подобранным из состава МИ-8 персоналом «Американского черного кабинета» вскоре переехал в Нью-Йорк. Вклад военного министерства в финансирование «Американского черного кабинета» был впервые выплачен лишь 30 июня 1921 г.
Одной из основных задач, поставленных перед «Американским черным кабинетом», было вскрытие кодов Японии, напряженность в отношениях с которой нарастала с каждым днем. В порыве энтузиазма Ярдли пообещал добиться их вскрытия в течение года или в противном случае уйти в отставку. Он пожалел о своей горячности сразу, как только приступил к этому делу, поскольку моментально запутался в открытых текстах на японском языке, не говоря уже о самом шифртексте.
После продолжительного предварительного анализа Ярдли выяснил, что для своих телеграфных сообщений, которые передавались буквами латинского алфавита, японцы использовали несколько видоизмененную форму иероглифической письменности, называемой «катакана». Но, несмотря на самое тщательное изучение перехваченных шифртелеграмм, прочесть их так и не удавалось. Много раз по ночам измученный и потерявший надежду Ярдли поднимался в свою квартиру по лестнице и валился на кровать только для того, чтобы через несколько часов возбужденно вскочить на ноги для проверки новой блестящей идеи, которая снова оказывалась бесплодной.
«К этому времени,
– писал он, -
я так долго работал с кодированными телеграммами, что каждая их строка, даже каждое кодовое обозначение неизгладимо отпечатались в моей голове. Я мог лежать на кровати с открытыми глазами и заниматься своими исследованиями в кромешной темноте… И вот однажды я проснулся в полночь, так как ушел с работы рано, и откуда-то из темноты пришло убеждение, что определенная последовательность двухбуквенных кодовых обозначений должна абсолютно точно соответствовать слову «Ирландия». Затем передо мной заплясали, быстро сменяясь, другие слова – «независимость», «Германия», «точка»… Великое открытие! Сердце мое замерло, я не смел двинуться с места. Было ли это со мной во сне или наяву? Не сошел ли я с ума? Решение? Наконец-то после всех этих месяцев! Я спрыгнул с кровати и в спешке (поскольку теперь я уже точно знал, что не сплю) почти скатился по лестнице. Дрожащими руками я открыл сейф, схватил папку с бумагами и торопливо начал делать заметки».
В течение часа Ярдли проверял пришедшие ему на ум гипотезы, а затем, убедившись, что начало успешному вскрытию положено, вернулся к себе домой и напился в стельку пьяным. Однако его радость была несколько преждевременной. Ярдли встретился с неожиданными трудностями, пытаясь подыскать переводчика с японского языка. В конце концов он нашел добродушного миссионера, который в феврале 1920 г. сделал для Ярдли первые переводы открытых текстов японских шифртелеграмм. Через 6 месяцев миссионер-переводчик уволился, осознав шпионский характер своей работы. Однако к тому времени один из подчиненных Ярдли совершил поистине неслыханный подвиг, выучив за полгода очень трудный японский язык.