Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens

Но по поводу непрозрачного будущего Виндж сделал, по крайней мере, один вывод — сингулярность несет угрозу и может привести к гибели человечества. Писатель, процитировав в речи 1993 г. целиком абзац из статьи Гуда 1967 г. об интеллектуальном взрыве, указал, что знаменитый статистик не так далеко зашел в своих выводах:

Гуд ухватил суть процесса (неуправляемого роста мощности ИИ), но не стал рассматривать его самые тревожные следствия. Любая разумная машина того типа, о котором он пишет, станет "инструментом" человечества не больше, чем само человечество является инструментом кроликов, или зябликов, или шимпанзе.

Вот еще одна уместная аналогия — кролики для людей то же, что люди для сверхразумных машин. А как мы относимся к кроликам? Как к вредителям или как к потенциальному обеду, в лучшем случае — как к домашним любимцам. ИСИ-агенты поначалу будут нашими инструментами — как нашими инструментами являются сегодня их предки Google, Siri и Watson. Кроме того, считает Виндж, существуют и другие факторы помимо индивидуального машинного интеллекта, способные вызвать сингулярность. Среди них — разум, берущий начало от Интернета (от Интернета вместе с пользователями — этакая цифровая Гея), от человеко-машинных интерфейсов или биологических наук (через повышение интеллекта будущих поколений при помощи манипуляций с генами).

В трех из перечисленных путей человек вовлечен в развитие технологий; возможно, он способен провести постепенное и управляемое повышение интеллекта и таким образом избежать взрыва. Так что можно, говорит Виндж, подумать о том, как победить величайшие проблемы человечества — голод, болезни, даже саму смерть. Это оптимистичное представление о будущем Курцвейла, которое пропагандируют «сингуляритарии». Сингуляритарии — это те, кто ожидает от резкого ускорения будущего в основном хороших вещей. Винджу их «сингулярность» представляется слишком благодушной.

Ставки в нашей игре чрезвычайно высоки, и положительная сторона ее так оптимистична, что это само по себе производит пугающее впечатление. Ветры мировой экономики — необычайно могущественная сила — связаны с достижениями ИИ. Сотни тысяч людей в мире, очень умных людей, работают над вещами, которые должны привести к созданию сверхчеловеческого разума. Вероятно, большинство из них не рассматривает свою работу в таком ключе. Они просто хотят сделать быстрее, дешевле, лучше, выгоднее.

Виндж сравнивает все это со стратегией времен холодной войны, известной как MAD (mutual assured destruction — взаимно гарантированное уничтожение). Термин этот был пущен в оборот любителем аббревиатур Джоном фон Ньюманом (он также был создателем одного из первых компьютеров с говорящим именем MANIAC), а сама стратегия помогала сохранить мир благодаря угрозе взаимного уничтожения сторон. Подобно MAD, искусственный интеллект может похвастать тем, что множество исследователей тайно трудятся над развитием технологий, потенциально грозящих катастрофой. Но это — взаимно гарантированное уничтожение без всяких тормозов, обусловленных здравым смыслом. Никто не может знать, кто на самом деле идет впереди в этой гонке, и каждый считает, что впереди кто-то другой. Но, как мы видели, победитель не сможет забрать все. Победитель в гонке за создание ИИ получит лишь сомнительную привилегию первым столкнуться с суперинтеллектом «лицом к лицу» или попробовать выжить в ситуации, очень напоминающей сценарий Busy Child.

«Мы имеем сегодня тысячи хороших людей, которые работают по всему миру, пытаясь совместными усилиями приблизить катастрофу, — сказал Виндж. — А двигаться вперед по ландшафту угроз очень сложно. Мы тратим недостаточно сил на раздумья о том, что будет, если нас постигнет неудача».