Сумерки Бога, или Кухонные астронавты

Известно понятие технологической сингулярности, введенное в обиход Рэймондом Курцвейлом, которое означает такой уровень развития технологий, при котором они станут непостижимо сложными для понимания человеком. Я бы добавил, непостижимыми для понимания всеми людьми без исключения, в том числе учеными и изобретателями уровня Курцвейла, ибо для обывателя такая сингулярность уже наступила. Сколько человек могут внятно объяснить, как работает их смартфон? Но это еще полбеды; тревожнее то, что в области развития искусственного интеллекта эта сингулярность фактически настала и для специалистов.

Как я уже говорил, система алгоритмов способна к самообучению и совершенствованию, постепенно развиваясь до уровня, недоступному человеку; собственно, казус с ботами Facеbook, заговорившими на своем языке, это частный случай того, что происходит в процессе такого развития. Я прочел о том, как так называемые генетические алгоритмы в ходе работы над тестовыми инженерными задачами изобрели преобразователь напряжения, работавший точнее, чем схема, созданная человеком по тем же спецификациям, при этом – что важно! – никто не мог объяснить, как именно их схема работает, и почему она работает лучше. При генетическом эволюционном программировании код программы логически нечитаем; инженеры не могут ни воспроизвести его, ни понять путь, двигаясь по которому, программа получила конечный результат.

В конечном итоге, люди обменивают понимание процесса на его результативный итог.

Философ Джон Сёрль описал такой феномен через метафору «китайской комнаты». Вкратце ее суть такова: в закрытом наглухо помещении сидит человек, в распоряжении которого множество словарей китайского языка и карточек с иероглифами; в двери комнаты есть отверстие, через которое желающие получить перевод на китайский передают свои тексты. Человек в комнате, предположительно, пользуется словарями и карточками, после чего выдает свой перевод. Смысл в том, что пользователь не знает, владеет ли переводчик в комнате китайским языком или пользуется словарями и карточками; более того, ему это и не важно – ведь он получил результат. Но тут возникает еще одна проблема: если пользователь сам не владеет китайским, то почем ему знать, выдали ему перевод, или просто набор похожих на иероглифы замысловатых каракуль? А если это все-таки перевод, то насколько он хорош?

Расчеты и выводы, сделанные алгоритмами, принципиально непроверяемы. Собственно, для того и нужен искусственный интеллект, чтобы обрабатывать недоступные человеку объемы информации, за минуты делать расчеты, на которые у людей ушли бы тысячи лет, и выдавать результаты, которые в силу вышесказанного не могут быть достигнуты людьми. Одержимый контролем старорежимный начальник может взять отчет подчиненного, да и пересчитать выборочно несколько цифр – дело пустяковое, десять минут на калькуляторе. Проверить вручную правильность формул и макросов в электронной таблице на несколько тысяч ячеек сложнее, но в принципе тоже возможно. Проделать подобный номер с выводами, сделанными на основе расчетов миллиардов опосредованно связанных данных, невозможно. Такие выводы принимаются только на веру, подкрепленную прежними положительными результатами. Хорошо, если они касаются рабочих характеристик экспериментального преобразователя напряжения. А если авиационных двигателей? Политических решений? Общественного здоровья?

И вот еще два реальных примера практических технологий дня сегодняшнего. Первое: во всемирно известном исследовательском центре Allen Institute for Artificial Intelligence создали унифицированную модель искусственного интеллекта Ask Delphi, способного отвечать на вопросы, требующие этических оценок. Он понимает – или считается, что понимает – моральные нормы, способен воспринимать описание реальных ситуаций на естественном языке, рассуждать на основе здравого смысла и, что самое главное, выносить этические суждения, учитывая взаимосвязь между конкурирующими ценностями в разных контекстах. Проще говоря, Delphi может обоснованно решить, хороший вы человек или так себе.

И второе: в Китае судей обязали консультироваться с искусственным интеллектом по каждому делу и давать письменное объяснение в том случае, если они решат отклониться от его рекомендаций. Система, управляемая самосовершенствующимися алгоритмами на основе машинного обучения, автоматически проверяет судебные дела и при необходимости изменяет приговоры, которые считает неправильными.

Таким образом, уже сегодня управление ключевыми элементами человеческой цивилизации в значительной степени передано, и будет, без сомнения, передаваться все больше, технологическим системам, принципы работы которых непостижимы для человека, а правильность выводов и рекомендаций возможно проверить только в процессе практической реализации. Более того, такие системы являются драйвером социальной эволюции человечества, а процесс развития самих систем носит экспоненциальный характер и фактически не может быть остановлен. Об этом очень точно сказал Вернор Виндж: