Идиот или гений? Как работает и на что способен искусственный интеллект

В последующие два года конкуренция между соревнующимися в точности программами, проходящими тест SQuAD, неизменно росла. В 2018 году две исследовательские группы – одна из лаборатории Microsoft, а другая из китайской компании Alibaba – создали программы, которые показали лучшие результаты, чем протестированные стэнфордскими учеными люди. В пресс-релизе Microsoft говорилось: “В Microsoft создали ИИ, который умеет не хуже людей читать документы и отвечать на вопросы по ним”[299]. Руководитель группы исследования обработки естественного языка Alibaba отметил: “Для нас большая честь стать свидетелями момента, когда машины превзошли людей в понимании прочитанного”[300].

Э-э… Мы всё это уже слышали. Вот классический рецепт исследований ИИ: определите относительно узкую, но полезную задачу и соберите большой набор данных для проверки эффективности машины при выполнении этой задачи. Произведите ограниченную оценку человеческих способностей по работе с этим набором данных. Организуйте соревнование, в котором системы ИИ будут состязаться друг с другом, работая с тем же набором данных, пока не достигнут человеческой оценки или не превзойдут ее. Далее не только сообщите о дейтвительно впечатляющем и полезном достижении, но и сделайте ложное заявление, что победившие системы ИИ достигли человеческого уровня в более общей задаче (например, “понимании прочитанного”). Если вы еще не узнали этот рецепт, перечитайте описание конкурса ImageNet в главе 5.

Некоторые популярные газеты сдержанно описали результаты теста SQuAD, и это достойно восхищения. Так, The Washington Post дала осторожную оценку:

Специалисты по ИИ отмечают, что тест слишком ограничен, чтобы сравнивать его прохождение с настоящим чтением. Давая ответы, система не пытается понять текст, а находит паттерны и соответствующие понятия в коротком фрагменте. Тест проводился лишь на написанных по четким шаблонам статьях “Википедии”, а не на объемном корпусе разнообразных книг, новостных заметок и рекламных щитов, с которыми постоянно взаимодействует большинство людей… Кроме того, в каждом фрагменте обязательно содержался искомый ответ, то есть моделям не приходилось понимать прочитанное или мыслить логически… Истинное чудо понимания прочитанного, по словам экспертов, заключается в чтении между строк – установлении связей между понятиями, построении логических цепочек и понимании идей, которые не обсуждаются открытым текстом[301].

Лучше и не скажешь.

Разработка вопросно-ответных систем остается одним из ключевых направлений исследований ОЕЯ. На момент написания этих строк специалисты по ИИ собрали несколько новых наборов данных – и запланировали новые соревнования, – которые станут серьезным вызовом для программ. Институт искусственного интеллекта Пола Аллена – частный исследовательский институт в Сиэтле, организованный одним из основателей Microsoft Полом Алленом, – разработал набор вопросов по естествознанию уровня начальной и средней школы. В вопросах есть несколько вариантов ответов, и для прохождения теста необходимы навыки, которые не ограничиваются извлечением ответов, поскольку системам необходимо задействовать комбинацию обработки естественного языка, фоновых знаний и рассуждений на основе здравого смысла[302]. Вот пример:

Какой простейший механизм используется, когда игрок в софтбол ударяет битой по мячу?

(A) блок (B) рычаг (C) наклонная плоскость (D) ворот