Nexus

"Затем... последовал ход № 37", - пишет Сулейман. "Это было бессмысленно. AlphaGo, очевидно, провалил дело, слепо следуя очевидно проигрышной стратегии, которую ни один профессиональный игрок никогда бы не применил. Комментаторы матча, оба профессионала высочайшего класса, сказали, что это "очень странный ход", и решили, что это "ошибка". Это было настолько необычно, что Седолю потребовалось пятнадцать минут, чтобы ответить, и он даже встал из-за доски, чтобы прогуляться на улицу. Мы наблюдали за происходящим из нашей комнаты управления, и напряжение было нереальным. И все же по мере приближения эндшпиля этот "ошибочный" ход оказался решающим. AlphaGo снова выиграла. Стратегия игры в го переписывалась на наших глазах. Наш ИИ обнаружил идеи, которые не приходили в голову самым гениальным игрокам на протяжении тысячелетий".

Move 37 - это эмблема революции ИИ по двум причинам. Во-первых, он продемонстрировал инопланетную природу ИИ. В Восточной Азии го считается гораздо большим, чем просто игрой: это ценнейшая культурная традиция. Наряду с каллиграфией, живописью и музыкой, го было одним из четырех искусств, которые должен был знать каждый утонченный человек. На протяжении более чем двадцати пяти сотен лет в го играли десятки миллионов людей, а вокруг игры сформировались целые школы, отстаивающие различные стратегии и философии. Однако за все эти тысячелетия человеческие умы исследовали лишь некоторые области го. Другие области оставались нетронутыми, потому что человеческие умы просто не думали туда соваться. ИИ, будучи свободным от ограничений человеческого разума, обнаружил и исследовал эти ранее скрытые области.

Во-вторых, ход 37 продемонстрировал непостижимость ИИ. Даже после того, как AlphaGo сыграл его и добился победы, Сулейман и его команда не смогли объяснить, как AlphaGo решил сыграть его. Даже если бы суд обязал DeepMind предоставить Ли Седолю объяснения, никто не смог бы выполнить этот приказ. Сулейман пишет: "Перед нами, людьми, стоит новая задача: будут ли новые изобретения недоступны нашему пониманию? Раньше создатели могли объяснить, как что-то работает, почему оно делает то, что делает, даже если это требовало огромного количества деталей. Сейчас это все чаще перестает быть правдой. Многие технологии и системы становятся настолько сложными, что не под силу ни одному человеку по-настоящему понять их.... В области искусственного интеллекта нейронные сети, движущиеся к автономности, в настоящее время не поддаются объяснению. Вы не можете провести человека через процесс принятия решений, чтобы объяснить, почему алгоритм выдал конкретное предсказание. Инженеры не могут заглянуть под капот и легко объяснить в деталях, что привело к тому или иному событию. GPT-4, AlphaGo и все остальные - это "черные ящики", их результаты и решения основаны на непрозрачных и невозможно сложных цепочках мельчайших сигналов".

Возникновение непостижимого инопланетного разума подрывает демократию. Если все больше и больше решений, касающихся жизни людей, принимаются в "черном ящике", так что избиратели не могут понять и оспорить их, демократия перестает функционировать. В частности, что произойдет, если важнейшие решения не только о жизни отдельных людей, но даже о коллективных делах, таких как процентная ставка Федеральной резервной системы, будут приниматься непостижимыми алгоритмами? Люди-избиратели могут продолжать выбирать человека-президента, но не будет ли это пустой церемонией? Даже сегодня лишь малая часть человечества по-настоящему понимает, что такое финансовая система. Исследование ОЭСР, проведенное в 2016 году, показало, что большинство людей с трудом понимают даже такие простые финансовые понятия, как сложные проценты. Опрос британских парламентариев, которым было поручено регулировать один из важнейших финансовых центров мира, в 2014 году показал, что только 12 процентов точно понимают, что новые деньги создаются, когда банки выдают кредиты. Этот факт относится к числу самых основных принципов современной финансовой системы.38 Как показал финансовый кризис 2007-8 годов, более сложные финансовые устройства и принципы, например те, что лежат в основе CDO, были понятны лишь немногим финансовым волшебникам. Что произойдет с демократией, когда искусственный интеллект создаст еще более сложные финансовые устройства, а число людей, понимающих суть финансовой системы, упадет до нуля?