Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир

То, что создал Суцкевер, имело научное значение, но еще не было продуктом, готовым к массовому потреблению. Его система хорошо работала с обычными словами, но не с расширенным лексиконом и не могла конкурировать с существующей системой машинного перевода – построенной на основе старых добрых правил языка и статистики, – которую компания Google предлагала пользователям в режиме онлайн уже более десяти лет. Но благодаря всем данным, которые он собрал, компания накопила огромное количество переводов, которые могли бы помочь обучить гораздо более крупную нейронную сеть, используя методы, продемонстрированные Суцкевером и его коллегами. Их объем был примерно в сто, если не в тысячу раз больше²¹⁸, чем тот, на котором Суцкевер обучал свою систему. И вот в 2015 году Дин нанял трех инженеров²¹⁹, чтобы они построили систему, которая могла бы обучаться на всех этих данных.

Существующий автоматический переводчик Google разбивал предложения на части, переводил эти части на другой язык, а затем пытался соединить полученные фрагменты в связное целое – недаром телеведущий Джимми Фэллон любил посмеяться над искаженными и порой совершенно бессвязными фразами, создаваемыми системой Google Translate. Например, оценка качества перевода с английского на французский²²⁰, измеряемая по стобалльной шкале BLEU, была ниже тридцати, и это означало, что перевод был так себе. За четыре года работы эту оценку удалось улучшить всего на три пункта. А вот команда Дина всего за несколько месяцев работы построила нейронную сеть, которая превзошла существующую систему на семь пунктов²²¹. Главная сила их метода, как и всех методов, связанных с глубоким обучением, заключалась в том, что система училась переводить фразы целиком, не разбивая их на фрагменты. «Внезапно непостижимое стало постижимым, – говорит Макдафф Хьюз, который руководил командой, создававшей прежнюю систему перевода. – Как будто кто-то включил свет».

Но была еще проблема. Чтобы перевести предложение из десяти слов, требовалось десять секунд²²². Для открытого интернета это было слишком медленно. Люди просто не станут этим пользоваться. Хьюз полагал, что компании потребуется еще три года²²³, чтобы отточить систему до такой степени, чтобы она могла выполнять переводы без малейшего промедления. Дин, однако, думал иначе²²⁴. «Мы можем сделать это к концу года, если постараемся»²²⁵, – сказал он Хьюзу во время широкого совещания, проходившего в одном из отелей Сан-Франциско. Хьюз был настроен скептически²²⁶, но поставил своей команде задачу подготовить новой сервис к концу года. «Я не собираюсь²²⁷ убеждать Джеффа Дина, что это неосуществимо», – сказал он.

Им нужно было успеть опередить Baidu. Специалисты китайского интернет-гиганта несколькими месяцами ранее опубликовали статью²²⁸ с описанием аналогичных исследований, а летом того же года появилась еще одна разработка, производительность которой не уступала системе, которую разрабатывали в Google Brain. Когда Джефф Дин и его команда создали новую версию Google-переводчика, они решили, что сервис должен дебютировать на английском и китайском языках. Из-за огромных различий между этими двумя языками именно в этой паре глубокое обучение обеспечивало наибольший прогресс. Кроме того, именно перевод с английского на китайский и обратно пользовался наибольшим спросом. В конце концов, речь шла о двух крупнейших экономических державах мира. Инженеры Google справились с задачей даже на три месяца раньше установленного Дином срока – и все благодаря тензорным процессорам. Фраза, перевод которой с использованием обычного оборудования еще в феврале занимал десять секунд, теперь, благодаря новому чипу, могла быть переведена за миллисекунды²²⁹. Первую доступную для пользователей версию нового переводчика выпустили сразу после Дня труда²³⁰, намного опередив Baidu. «Я был поражен тем, насколько удачно все получилось. Думаю, все были поражены, – говорит Хинтон. – Никто не ожидал, что все сработает так хорошо и так скоро».

* * *

Когда Джеффри Хинтон перешел в Google, они с Джеффом Дином занялись проектом²³¹, который они сами называли «Дистилляцией». Речь шла о том, чтобы взять одну из гигантских нейронных сетей, которые они обучали внутри компании, а затем сжать все, чему она научилась, до размера, который позволял бы Google использовать ее в режиме реального времени в онлайн-сервисах, мгновенно обслуживая миллионы людей по всему миру. Это был брачный союз долгой карьеры Хинтона (нейронные сети) и огромного опыта Дина (компьютеры и информатика). Затем Хинтон решил выйти за рамки изучения нейронных сетей, чтобы попробовать создать новую, более сложную модель, имитирующую человеческий мозг. Эта идея впервые пришла ему в голову еще в конце 1970-х годов, и он назвал ее капсульной сетью. Летом, после того как Google приобрела DeepMind, Хинтон запланировал провести три месяца в лондонской лаборатории, чтобы поработать над этой новой старой идеей.