Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens

Почему мы можем быть уверены, что построим сверхразумные машины? Потому что из успехов нейробиологии ясно, что наш чудесный разум имеет физическую основу, и к настоящему моменту нам уже пора понять, что технология позволяет создать все, что возможно физически создать. Компьютер Watson фирмы IBM, играющий в «Свою игру» не хуже чемпионов-людей, — значимая веха на этом пути, иллюстрирующая прогресс машинной обработки языка. Watson изучал язык при помощи статистического анализа громадных объемов текста, доступных в Сети. Когда машины станут достаточно мощными, чтобы расширить этот статистический анализ и связать язык с данными сенсоров, вы проиграете спор, если скажете, что они не понимают язык.

Билл Хаббард, исследователь ИИ

Действительно ли мы заходим слишком далеко, считая, что со временем нам удастся раскрыть принципы работы разума и воплотить их в машине, так же как методами обратного проектирования нам удалось реализовать в удобном для нас виде особенно полезные свойства природных объектов, таких как лошадь или прядильный орган личинки шелкопряда? Сенсация: человеческий мозг — природный объект.

Михаил Анисимов, директор MIRI по связям с прессой

Искажение нормальности — неспособность человека эффективно действовать и адекватно реагировать в условиях катастрофы, в которой он оказался впервые.

Памела Валентайн и Томас Смит, Brief Treatment and Crises Intervention

Наше исследование интеллектуального взрыва выявило несколько серьезных вопросов. Искусственный интеллект человеческого уровня, когда он будет получен, окажется сложной системой, а сложные системы иногда отказывают вне зависимости от того, используют ли они программное обеспечение или нет. Системы ИИ и когнитивные архитектуры, о которых мы начали говорить, настолько сложные, по утверждению автора книги «Нормальные аварии» (Normal Accidents) Чарльза Перроу, что мы не можем предусмотреть все варианты комплексных отказов, которые могут в них возникнуть. Мы не отступим от истины, если скажем, что УЧИ, скорее всего, будет реализован как когнитивная архитектура и что по размерам и сложности он может превзойти облачный кластер из 30 ООО процессоров, выстроенный не так давно компанией Cycle Computing. А эта компания сама хвасталась, что «кошка- чудовище» была слишком сложная, чтобы за ее работой мог следить (чтобы его мог по-настоящему понять) человек.

Добавьте к этому тот тревожный факт, что части вероятных систем УЧИ, такие как генетические алгоритмы и нейронные сети, принципиально непознаваемы — мы не можем точно сказать, почему они принимают те или иные решения. И при всем том среди людей, работающих над созданием ИИ и УЧИ, лишь небольшая часть хотя бы сознает, что на этом пути нам могут грозить опасности. Большинство не рассматривает катастрофические сценарии и не планирует своего поведения на этот случай. Инженеры-атомщики Чернобыля и Тримайл-Айленда глубоко изучали всевозможные аварийные сценарии, но даже они не сумели эффективно вмешаться. Какие шансы справиться с УЧИ будут у неподготовленных ученых?

Наконец, подумайте о DARPA. Без этого агентства информатика как наука и все, что она нам дала, были бы сегодня на значительно более примитивном уровне. ИИ, если бы все же разрабатывался, сильно отставал бы от нынешнего состояния. Но DARPA — оборонное ведомство. Сознает ли оно, насколько сложным и непознаваемым может оказаться УЧИ? Готово ли к тому, что у УЧИ будут собственные потребности и мотивации, помимо тех задач, для решения которых он будет создан? Или получатели грантов DARPA вооружат продвинутый ИИ раньше, чем будет создана этика его использования?