God, Human, Animal, Machine: Technology, Metaphor, and the Search for Meaning

Но эта защита поразительно уклончива и по другим причинам. Мы доверяем объяснениям других людей, потому что мы эволюционировали как вид, чтобы иметь схожие методы рассуждения. Даже если речь идет об интуиции или догадках, мы можем предположить, что они относятся к сфере человеческих мыслительных процессов. Машины, напротив, делают выводы, совершенно не похожие на человеческий разум - этот факт запомнился бывшему чемпиону по игре в го, который воскликнул о стратегии AlphaGo: "Это не человеческий ход". Многие исследователи в области глубокого обучения называют алгоритмы формой "инопланетного" интеллекта. Когда модели глубокого обучения учат играть в видеоигры, они придумывают хитроумные способы обмана, которые не приходят в голову человеку: используют ошибки в коде, позволяющие им набирать очки, или доводят противников до самоубийства. Когда Facebook научил две сети общаться, не уточняя, что разговор должен вестись на английском, алгоритмы придумали свой собственный язык. В 2003 году Ник Бостром предупредил, что между интеллектом и человеческими ценностями нет врожденной связи. Сверхразумная система может привести к катастрофическим последствиям, даже если у нее нейтральная цель и отсутствует самосознание. "Мы не можем легкомысленно полагать, - писал Бостром, - что сверхразум обязательно будет разделять какие-либо конечные ценности, стереотипно ассоциирующиеся с мудростью и интеллектуальным развитием человека: научное любопытство, благожелательное отношение к другим, духовное просвещение и созерцание, отказ от материального приобретения, вкус к изысканной культуре или к простым удовольствиям жизни, смирение и самоотверженность и так далее".

Однако среди приверженцев глубокого обучения именно причудливый интеллект является целью. "У нас уже есть люди, которые могут думать как люди", - говорит Янн ЛеКун, глава исследовательского подразделения Facebook по ИИ. "Возможно, ценность умных машин в том, что они совершенно чужды нам". Дэвид Уайнбергер также утверждает, что в случае с глубоким обучением "чужое" не означает "неправильное". "Когда дело доходит до понимания того, как обстоят дела, - пишет он, - машины могут быть ближе к истине, чем мы, люди, когда-либо могли бы быть". Многие специалисты в этой области не хотят делать технологию более прозрачной, даже если бы это было возможно. Согласно одной из теорий, чем меньше мы будем вмешиваться в алгоритмы, тем точнее будут результаты. Если среди технологической элиты и существует герменевтика, то это марка sola fide и sola scriptura, убежденность в том, что алгоритмические откровения совершенны и что любая интерпретация или вмешательство человека рискуют подорвать их авторитет. "Бог - это машина", - говорит исследователь Юре Лесковец, резюмируя консенсус в своей области. "Черный ящик" - это истина. Если он работает, значит, он работает. Мы даже не должны пытаться понять, что выдает машина".

Во время расцвета увлечения глубоким обучением трудно было прочитать статью об этих технологиях, не наткнувшись на религиозную метафору. "Подобно богам, эти математические модели были непрозрачны, их работа была невидима для всех, кроме высших жрецов в своей области: математиков и компьютерных ученых", - пишет специалист по изучению данных Кэти О'Нил, вспоминая появление этих алгоритмов. "Их вердикты, даже если они были ошибочными или вредными, не подлежали оспариванию или обжалованию". В своей книге "Homo Deus" Юваль Ной Харари проводит практически ту же аналогию: "Как, согласно христианству, мы, люди, не можем понять Бога и Его замысел, так и датаизм заявляет, что человеческий мозг не в состоянии постичь новые главные алгоритмы". Термин "главный алгоритм" - это аллюзия на работу Педро Домингоса, одного из ведущих экспертов в области машинного обучения, который утверждает, что эти алгоритмы неизбежно превратятся в единую систему совершенного понимания - своего рода оракул, к которому мы сможем обращаться практически по любому поводу, что приведет к завершению видения Бридла о новой темной эпохе. В своей книге "Мастер-алгоритм" Домингос отвергает опасения по поводу этой технологии, апеллируя к нашему зачарованному прошлому. "По сути, мы всегда жили в мире, который понимали лишь отчасти", - пишет он. "Вопреки тому, во что нам хочется верить сегодня, люди довольно легко подчиняются другим, а любой достаточно развитый ИИ неотличим от Бога. Люди не обязательно будут возражать против того, чтобы получать приказы от какого-то огромного оракульного компьютера".

 

-