Идиот или гений? Как работает и на что способен искусственный интеллект

Такие миниатюрные тесты на понимание языка называются схемами Винограда по имени пионера ОЕЯ Терри Винограда, который первым предложил их использовать[306]. Схемы Винограда составляются таким образом, чтобы вопросы не вызывали затруднений у людей, но озадачивали компьютеры. В 2011 году три исследователя ИИ – Эктор Левек, Эрнест Дэвис и Леора Моргенштерн – предложили использовать большой набор схем Винограда в качестве альтернативы тесту Тьюринга. Ученые заявили, что в отличие от теста Тьюринга тест на схемах Винограда исключает для машины возможность дать верный ответ, ничего не понимая о предложении. Они выдвинули гипотезу (сформулированную весьма осторожно), что “с очень большой вероятностью машина, способная давать верные ответы, демонстрирует признаки того, что люди назвали бы мышлением”. Ученые продолжили: “Наше испытание [на схемах Винограда] не позволяет испытуемому скрываться за пеленой словесных уловок, шуток и заготовленных ответов… Предложенная нами проверка, несомненно, менее трудоемка, чем разумная беседа о сонетах (например), которую представлял Тьюринг, но при этом она позволяет провести тестирование, которое сложнее обмануть”[307].

Несколько групп, изучающих обработку естественного языка, провели эксперименты с разными системами для ответа на вопросы схем Винограда. На момент написания этих строк лучшая программа дает около 61 % верных ответов при работе с набором из примерно 250 схем[308]. Точность случайного угадывания составила бы 50 %, а следовательно, машина справляется с задачей несколько лучше, но значительно уступает людям, которые предположительно дают 100 % верных ответов, если читают вопросы внимательно. Получая схему Винограда, программа выбирает ответ, не понимая предложения, а анализируя статистику фрагментов фраз. Рассмотрим предложение “Я лил воду из кувшина в стакан, пока он не наполнился”. Чтобы составить примерное представление о том, что делает программа-победитель, впишите в строку поиска Google два следующих предложения поочередно:

“Я лил воду из кувшина в стакан, пока кувшин не наполнился”.

“Я лил воду из кувшина в стакан, пока стакан не наполнился”.

Google выдает количество “результатов” (то есть обнаруживаемых в интернете соответствий) для каждого из предложений. Когда я проводила поиск, первое предложение давало около 97 миллионов результатов, а второе – около 109 миллионов. Мудрый интернет верно говорит нам, что второе предложение с большей вероятностью составлено верно. Такая хитрая уловка позволяет добиться лучшего результата, чем при случайном угадывании, и меня не удивит, если точность машин при работе с этим набором схем Винограда будет неуклонно возрастать. И все же я сомневаюсь, что этот чисто статистический метод в ближайшее время достигнет человеческого уровня при работе с более крупными наборами схем. Возможно, это к лучшему. “Пока ИИ не может определить, что означает «он» в предложении, сложно поверить, что он захватит мир”, – сострил Орен Этциони, директор Института Аллена[309].

Вредоносные атаки на системы обработки естественного языка

На пути к мировому господству системы ОЕЯ сталкиваются также с другим препятствием: подобно программам компьютерного зрения, они не справляются с “контрпримерами”. В главе 6 я описала метод, которым злоумышленник (здесь – человек, который пытается обмануть систему ИИ) может изменить окраску пикселей на фотографии, скажем, школьного автобуса. Людям кажется, что новый снимок ничем не отличается от оригинала, но натренированная сверточная нейронная сеть говорит, что на фотографии изображен “страус” (или помещает изображение в другую категорию, выбранную злоумышленнком). Я также описала, как злоумышленник может создать изображение, в котором люди увидят лишь случайное скопление точек, а обученная нейронная сеть – скажем, “гепарда”, причем будет почти на 100 % уверена в своем ответе.

Рис. 43. Пример вредоносной атаки на систему формирования подписей к изображениям. Слева показано исходное изображение с подписью, сгенерированной компьютером. Справа – измененное изображение (которое людям кажется неотличимым от исходного) и сформированная для него подпись. Авторы специально скорректировали исходное изображение таким образом, чтобы в новой подписи содержались слова “собака”, “кошка” и “фрисби”

Неудивительно, что те же самые методы можно использовать, чтобы обманывать системы, которые автоматически формируют подписи к изображениям. Одна группа исследователей показала, как злоумышленник может внести в пиксели изображения особые изменения, которые не будут заметны людям, но заставят систему формировать некорректные подписи, содержащие слова из определенного злоумышленником набора[310].