Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей

Я. Л.: Нет, к сожалению, это совсем не похоже. Дети получают большую часть информации до того, как кто-то скажет им: «Это кошка». В первые несколько месяцев жизни дети учатся, не имея понятия о языке. Они узнают устройство мира, просто наблюдая за миром и немного взаимодействуя с ним. Такой способ накопления знаний машинам недоступен. Как это назвать, непонятно. Некоторые используют провокационный термин «обучение без учителя». Иногда это называют предвосхищающим, или индуктивным, обучением. Я называю это самообучением. При обучении этого типа не идет речи о подготовке к выполнению какой-то задачи, это просто наблюдение за миром и тем, как он функционирует.

М. Ф.: А обучение с подкреплением в эту категорию попадает?

Я. Л.: Нет, это совсем другая категория. По сути, выделяют три основные категории: обучение с подкреплением, обучение с учителем и самообучение.

Обучение с подкреплением происходит методом проб и ошибок и хорошо работает для игр, где можно делать сколько угодно попыток. Хорошая производительность AlphaGo была достигнута после того, как машина сыграла больше игр, чем все человечество за последние три тысячи лет. К задачам из реального мира такой подход нецелесообразен.

Человек может научиться водить автомобиль за 15 часов тренировок, ни во что не врезавшись. Если использовать существующие методы обучения с подкреплением, машине, чтобы научиться ездить без водителя, придется 10 тысяч раз упасть с обрыва, прежде чем она поймет, как этого избежать.

М. Ф.: Мне кажется, что это аргумент в пользу моделирования.

Я. Л.: Скорее, это подтверждение того, что тип обучения, которым пользуются люди, сильно отличается от обучения с подкреплением. Это похоже на обучение с подкреплением на базе моделей. Ведь человек, садясь за руль впервые, имеет модель мира и может предсказывать последствия своих действий. Как заставить машину самостоятельно изучать прогностические модели – это главная нерешенная проблема.

М. Ф.: Именно с этим связана ваша работа в Facebook?

Я. Л.: Да, это одна из вещей, над которыми мы работаем. Еще мы обучаем машину наблюдать за разными источниками данных. Строим модель мира, надеясь на отражение в ней здравого смысла, чтобы потом использовать ее как прогностическую.

М. Ф.: Некоторые считают, что одного глубокого обучения недостаточно, и в сетях изначально должна быть структура, отвечающая за интеллект. А вы, похоже, убеждены, что интеллект может органически появиться из относительно универсальных нейронных сетей.

Я. Л.: Вы преувеличиваете. С необходимостью структуры согласны все, вопрос в том, как она должна выглядеть. А говоря о людях, которые считают, что должны быть структуры, обеспечивающие логическое мышление и способность к аргументации, вы, вероятно, имеете в виду Гари Маркуса и, возможно, Орена Этциони. С Гари мы спорили на эту тему сегодня утром. Его мнение не очень хорошо воспринимается в сообществе, потому что, не сделав ни малейшего вклада в глубокое обучение, он критически писал о нем. Орен работал в этой сфере некоторое время и при этом высказывается значительно мягче.

Фактически, сама идея сверточных сетей возникла как попытка добавить в нейронные сети структуру. Вопрос в том, какую: позволяющую машине манипулировать символами или, например, соответствующую иерархическим особенностям языка?

Многие мои коллеги, в том числе Джеффри Хинтон и Иошуа Бенджио, согласны с тем, что рано или поздно мы сможем обойтись без структур. Они могут принести пользу в краткосрочной перспективе, потому что пока не придуман способ самообучения. Этот момент можно обойти, привязав все к архитектуре. Но микроструктура коры, как визуальной, так и префронтальной, кажется полностью однородной.

М. Ф.: А мозг использует что-то похожее на метод обратного распространения ошибки?

Я. Л.: Это неизвестно. Может оказаться, что это не обратное распространение в том виде, как мы его знаем, а похожая на него форма аппроксимации оценки градиента. Над биологически правдоподобными формами оценки градиента работал Иошуа Бенджио. Существует вероятность того, что мозг оценивает градиент какой-либо целевой функции.

М. Ф.: Над какими еще важными вещами ведется работа в компании Facebook?

Я. Л.: Мы занимаемся множеством фундаментальных исследований, а также вопросами машинного обучения, поэтому в основном имеем дело с прикладной математикой и оптимизацией. Ведется работа над обучением с подкреплением и над так называемыми порождающими моделями, которые представляют собой форму самообучения или предвосхищающего обучения.

М. Ф.: Разрабатывает ли компания Facebook системы, умеющие поддерживать разговор?