Франкенштейн. Запретные знания эпохи готического романа

«Определим ультраразумную машину как машину, способную намного превзойти человека в любой интеллектуальной деятельности, каким бы умным он ни был. Поскольку конструирование машин – это одно из интеллектуальных действий, ультраразумная машина способна конструировать все более совершенные машины; затем, бесспорно, произойдет „интеллектуальный взрыв“, и человеческий разум останется далеко позади. Таким образом, первая ультраразумная машина – это последнее изобретение, которое потребуется от человека».[21]

То, что Гуд назвал «интеллектуальным взрывом», Вернор Виндж, специалист в области вычислительной техники и писатель-фантаст, окрестил сингулярностью, позаимствовав этот термин из описания участвовавшего в создании водородной бомбы ученого Станислава Улама его разговора с венгеро-американским математиком, физиком и компьютерщиком Джоном фон Нейманом:

«Один разговор был посвящен ускоренному прогрессу технологий и изменениям в образе жизни человека, что создает видимость приближения к некоторой существенной необычности в истории человечества, после которой человеческое бытие в известном нам виде не сможет продолжаться».[22]

Некоторые видят в сингулярности утопическое событие, способное привести к фантастическому будущему и вечной жизни, в то время как другие мрачно предостерегают, что подлинный искусственный интеллект несет экзистенциальную угрозу и что сингулярность может означать конец человеческой расы. Пророки Иеремии – или Кассандры, в зависимости от оценки точности их предсказаний – насчитывают в своих рядах многих выдающихся деятелей науки и техники, таких как, к примеру, Стивен Хокинг и Илон Маск. Так, Хокинг был одним из авторов статьи, предупреждавшей: «Успех в создании ИИ будет величайшим событием в истории человечества. К сожалению, он может стать и последним, если мы сейчас не научимся избегать рисков… В краткосрочной перспективе все зависит от того, кто управляет ИИ, в долгосрочной – от того, возможно ли вообще им управлять».

Стивен Хокинг в своем офисе в 1982 году. Хокингу принадлежит один из наиболее влиятельных голосов, предупреждающих об опасностях «ИИ-Франкенштейна».

Маск назвал ИИ «величайшей экзистенциальной угрозой», заявил, что он «опаснее, чем ядерное оружие», и предупредил: «…у нас осталось немного времени. Открыв этот ящик Пандоры, будет сложно его закрыть». Говоря более эмоционально и вторя фаустовским корням легенды о Франкенштейне, Маск уподобил ИИ «…вызову демона… Во всех этих историях, где показан парень с пентаграммами на теле и святой водой в руках, ну, знаете, он уверен, что может контролировать демона. Здесь это уже не поможет».

Человеческая природа

Одна из проблем этих пророчеств состоит в том, что многие рассматривают ИИ как мираж, как одну из тех широко разрекламированных технологий, которые «ушли на тридцать лет вперед и навсегда там останутся». Но свидетельства о рудиментарном машинном разуме, который уже выпущен в свет, звучат не обнадеживающе. Один из наиболее печально известных примеров – это выпуск компанией «Майкрософт» чат-бота по имени Тай, системы на основе искусственного интеллекта, предназначенной «развлекать и привлекать» людей в возрасте от 18 до 24 лет. Идея состояла в том, чтобы чат-бот научился завоевывать внимание людей во время непринужденной беседы, используя то, что «Майкрософт» называет «разговорным пониманием» твитов. Менее чем за сутки пользователи смогли научить чат-бота ретвитить и даже самому придумывать разные расистские, сексистские и антисемитские высказывания, поэтому его пришлось отключить.

Если можно извлечь какой-то урок из сокрушительного провала Тай, то он будет состоять в том, что человеческий фактор способен представлять огромную угрозу; это самое очевидное толкование «Франкенштейна». Подобный аргумент выдвигает Ян Лекун, директор лаборатории искусственного интеллекта Facebook и преподаватель Нью-Йоркского университета, не придающий большого значения угрозам ИИ на том основании, что машинный разум будет свободен от всех грехов и пороков человека: