Канадцы, понимая, что поступают с Ярдли нечестно, попытались сгладить неловкость положения. Ему предложили контракт на два с половиной месяца с сохранением денежного содержания, положенного ему на должности начальника Исследовательского отдела. По этому контракту он должен был исполнять фиктивные «специальные поручения» правительства Канады, находясь в Вашингтоне. Затраты на дорогу домой были полностью компенсированы за правительственный счет. Ярдли пообещали обеспечить беспрепятственное прохождение канадского таможенного контроля. Его снабдили несколькими благодарственными письмами от имени различных правительственных ведомств Канады за проделанную работу.
16 января 1941 года Ярдли попрощался с Макензи, который был расстроен выбором преемника Ярдли на посту начальника Исследовательского отдела: «Возможно, мое мнение является предвзятым, но я никогда не выбрал бы такого пожилого человека для того, чтобы возглавить организацию подобного рода». И добавил: «Время покажет, сумеем ли мы оправиться от этого удара». Канада сумела, а Ярдли нет.
Последние годы жизни
Находясь сначала в Китае, а потом в Канаде, Ярдли исчез из поля зрения широкой американской общественности. Но она его отнюдь не забыла. Государственный департамент и военная разведка получали по два-три письма в неделю, которые имели отношение к Ярдли. В них часто содержался совет снова принять его на государственную службу в качестве дешифровальщика. В феврале 1941 года осведомитель проинформировал ФБР, что американская пресса проявляет интерес к судьбе Ярдли. Среди репортеров ходили слухи, что его снова приняли на секретную работу в военное министерство США. Газетчики недоумевали, «как это могло случиться после предательства, которое совершил Ярдли». Директор ФБР Эдгар Гувер передал эту информацию военной разведке.
Ярдли были нужны деньги, и вскоре после возвращения из Канады он обратился к Гуверу с просьбой предоставить работу в ФБР, сказав, что готов поделиться новейшими методами взлома шифров. Гувер переадресовал просьбу Ярдли трем своим сотрудникам– заместителю Стенли Трейси, начальнику криминалистической лаборатории Чарльзу Аппелю и лаборанту-криминалисту Уильяму Блекберну. Ярдли встретился с ними для беседы 3 февраля 1942 года.
Ярдли первым делом спросил своих собеседников из ФБР, что именно их интересует в криптологии. Ответ гласил: ничего конкретно. Тогда Ярдли попытался объяснить им суть своего метода дешифрования сообщений, но не нашел понимания с их стороны. Разговор коснулся его послужного списка. Ярдли рассказал про успешный взлом японских кодов в Китае. Он говорил долго, но не вдавался в подробности. Трейси счел Ярдли хвастуном, который пытался произвести впечатление, чтобы навязать свои услуги ФБР. По мнению Трейси, взламывать коды можно было только «благодаря везению, кропотливой исследовательской работе и краже кодовых книг». В конце беседы Ярдли попросил сотрудников ФБР о личном одолжении: он хотел, чтобы его имя было вычеркнуто из черного списка государственного департамента, военного министерства и ФБР. Ярдли пожаловался, что американское правительство заблокировало публикацию его совершенно безобидной книги под названием «Дипломатические секреты Японии». Он сказал, что ФБР принимало участие в его травле через своего сотрудника в Нью-Йорке Дьюи. Трейси ответил, что Дьюи являлся сотрудником генеральной прокуратуры, а не ФБР. Ярдли удивился и принес свои извинения за необоснованные обвинения в адрес ФБР.
После этого Ярдли заявил, что не может найти работу ни в государственном департаменте, ни в военном министерстве и что слышал, будто заместитель директора ФБР Тамм выразил сомнение, что Ярдли отыщется место в ФБР. Он заверил Трейси, что не нуждается в работе на ФБР, поскольку дорожит своей недавно обретенной независимостью, а просто хочет помочь родине в трудное военное время. Трейси ответил, что Ярдли не годится для службы в ФБР по возрасту, но даже если бы и подходил, то, как новичок, мог рассчитывать там только на минимальную зарплату.
В отчете, подготовленном по итогам встречи, Трейси отметил, что Ярдли был очень словоохотлив и что он искал встречи с директором ФБР исключительно для того, чтобы быть вычеркнутым из черного списка государственного и военного департаментов и занять руководящий пост в какой-нибудь правительственной дешифровальной службе. Аппель и Блекберн высказали мнение, что Ярдли не имеет слишком глубоких познаний в криптологии.
Расставаясь с Трейси, Аппелем и Блекберном, Ярдли оставил им свой телефон, сказав, что готов оказать помощь ФБР в любое время и в любом месте. Ярдли никто не перезвонил.