Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир

Критерием хорошей идеи для него было то, сколько он веса потерял, потому что забывал поесть. Один студент утверждал, что лучшим рождественским подарком от своей семьи Хинтон считал позволение вернуться в лабораторию и еще немного поработать в праздник. А по свидетельствам многих коллег, у него всегда была привычка забежать в комнату, объявить, что он наконец-то понял, как работает мозг, объяснить свою новую теорию, потом так же быстро убежать, а через несколько дней вернуться и сказать, что его прежняя теория совершенно неверна, но теперь у него есть новая.

Руслан Салахутдинов, впоследствии ставший одним из ведущих мировых коннекционистов и одним из самых плодовитых сотрудников Apple, уже было расстался с этой областью науки, когда в 2004 году познакомился с Хинтоном в Университете Торонто. Хинтон рассказал ему о новом проекте, связанном с послойным обучением массивных нейронных сетей, снабжаемых гораздо большим количеством данных, чем это было возможно в прошлом. Это называлось «глубокие сети доверия». Он и уговорил Салахутдинова вернуться в лоно коннекционизма. Помимо других факторов, свою роль здесь сыграл авторитет Хинтона, само его имя. Молодой студент по имени Навдип Джейтли попросился в торонтскую лабораторию Хинтона после того, как случайно увидел огромную очередь студентов, выстроившихся перед кабинетом профессора. Другой студент, Джордж Даль, заметил подобный эффект в более широком контексте исследований, связанных с машинным обучением. Каждый раз, когда он натыкался на интересную научную работу или на интересного исследователя, обнаруживалась прямая связь с Хинтоном. «Не знаю, то ли Джефф выбирает людей, которые в конечном итоге становятся успешными, то ли он каким-то образом делает их успешными. Я сам это испытал и склоняюсь ко второму варианту», – говорит Даль.

Сын преподавателя английского языка и литературы, Даль был ученым-идеалистом, который сравнивал поступление в аспирантуру с уходом в монастырь. «Нужно иметь неотвратимую судьбу, какое-то призвание, которое поможет тебе переживать темные времена, когда твоя вера слабеет», – любил говорить он. Его призванием, решил он, был Джефф Хинтон. И он был не одинок. Когда Даль нанес визит еще одной группе исследователей, занимавшихся машинным обучением в Университете Альберты, тамошний студент по имени Влад Мних пытался убедить его, что его место здесь, а не в Торонто. Но когда той же осенью Даль приехал в Университет Торонто и вошел в переоборудованный чулан, где университет выделил ему рабочее место, Мних уже тоже был там. Он перебрался в лабораторию Хинтона еще летом.

В 2004 году, когда интерес к нейронным сетям в целом пошел на убыль, Хинтон удвоил ставку на свою идею, надеясь интенсифицировать работу в своем маленьком сообществе коннекционистов. «Тема в группе Джеффа всегда была одна и та же: старое – это новое, – говорит Даль. – Если идея хорошая, ты продолжаешь попытки еще двадцать лет, развиваешь ее, пока она не сработает. Она не перестанет быть хорошей идеей, если она не сработала сразу же». Имея более чем скромное финансирование со стороны от Канадского института перспективных исследований – менее 400 000 долларов в год – Хинтон создал новый коллектив, сосредоточивший внимание на том, что он называл «программой нейронных вычислений и адаптивного восприятия», и дважды в год проводил семинары для исследователей, которые все еще придерживались этих коннекционистских взглядов, включая специалистов по информатике, инженеров-электронщиков, нейробиологов и психологов. Лекун и Бенжио играли во всем этом активную роль, как и Кай Юй, китайский ученый, который впоследствии перейдет в Baidu. Впоследствии Хинтон сравнил сплоченную работу этого коллектива с дуэтом Боба Вудворда и Карла Бернстайна, которые решили сотрудничать, а не соперничать, когда расследовали Уотергейтское дело. Это давало возможность обмениваться идеями. В Торонто одной из удачных идей было придумать для этой очень старой технологии новое название.

Когда Хинтон в день своего шестидесятилетия читал лекцию на ежегодной конференции NIPS, проходившей тогда в Ванкувере, он впервые использовал словосочетание «глубокое обучение» (deep learning). Это был хитроумный ребрендинговый ход. В плане работы с многослойными нейронными сетями в «глубоком обучении» не было ничего нового. Но это был яркий, вызывающий эмоциональную реакцию термин, призванный помочь активизировать исследования в области, которая снова впала в немилость. Он понял, что название было выбрано удачно, когда в середине лекции он сказал, что все остальные занимаются «поверхностным обучением», и аудитория встретила его слова одобрительным смехом. В долгосрочной перспективе это оказался мастерский ход. Благодаря ему авторитет крошечной группы исследователей, работавших фактически на задворках большой науки, сразу же возрос. К одной из конференций NIPS кто-то снял видеомистификацию, в которой группа людей присягает глубокому обучению, так словно речь идет о религиозной секте типа саентологов или Храма народов.