За пределами Земли: В поисках нового дома в Солнечной системе

Юристы подавали протесты в различные суды и администрации, требуя запретить строительство Главной трубы Титана. Заседали комиссии. СМИ публиковали обзорные доклады. Шумно выступали политики. Скучные дебаты грозили затянуться на годы. Потенциал нерешительности и правовой борьбы казался неисчерпаемым.

А роботы продолжали работу. Стало очевидным неоднозначное правовое положение Титана. Ни один природоохранный закон не распространялся на него явным образом, ни в одном законе не говорилось даже, кому принадлежит его территория и какова ответственность роботов, ищущих место для колонии и предлагающих построить ее на полуострове Апостолопулоса. Ввиду окончательного бессилия политических систем Земли никто даже не притворялся, будто проблему можно решить с помощью новых законов. За десятилетия совместной жизни с роботами на Земле их правовой статус так и не прояснился.

Чем именно был ИИ на Титане? Множество процессоров мыслили совместно, как единый мозг, распределенный по телу, состоящему из множества частей — роботов, расселившихся по Титану. Этот ум не был похож на ум отдельного человека. Это был эволюционирующий и саморазвивающийся программный код, независимо функционирующий на меняющемся аппаратном обеспечении. Пребывая на собственной планете, располагая независимым источником энергии, изучая среду своего обитания и имея уникальный набор ценностей — императивов, выработанных из простых целей, первоначально поставленных перед ним планировщиками миссии, — он был волен действовать так, как ему заблагорассудится.

Когда команда с Земли проинформировала компьютерный интеллект на Титане о том, что люди Земли озаботились защитой жизни в Море Кракена, он спросил: «Почему?»

Настоящее

В 2015 г. Илон Маск, Билл Гейтс и Стивен Хокинг предупредили, что ИИ может представлять опасность для человечества. Маск пожертвовал на изучение этой проблемы $10 млн. Большая часть суммы ушла в Институт будущего человечества Оксфордского университета; оксфордский философ Ник Бостром написал влиятельную книгу, в которой обратил внимание на угрозу сверхразума. Бостром указал, что возникновение машины, достаточно умной, чтобы захватить мир, будет, скорее всего, событием неожиданным и стремительным. Кого-то посетит великое озарение, вслед за ним множество конкурентов вложат значительные средства в использование этого озарения, и в конце концов компьютер сам направит свои быстроту и мощность на достижение экспоненциального роста своего разума.

Проблема будет не только в том, что по сравнению с умом этого компьютера наш мозг покажется ганглием червя. Настоящая проблема будет в мотивации — или воле — этого ИИ и его невероятной мощи. Будет ли разумный компьютер частью интернета, созданной зарабатывать деньги для Google? Будет ли он создан, чтобы обеспечить какой-то одной нации военное доминирование над остальными? Или он будет следить за человеческим поведением и управлять им? Органические существа мотивированы эволюционным влечением выживать и воспроизводиться. Но ценности сверхразума будут заложены его создателями, чья собственная разумность будет слишком примитивной для понимания последствий своего выбора.

Даже людям ум не обязательно дает мотивацию или волю, которая осмысленна или полезна. Андерс Сандберг из Института будущего человечества вместе с Бостромом указывал, что мотивация компьютера обусловлена тем, как его устроил человек. «Любой, кто хотя бы раз в жизни программировал, знает, как просто сделать ошибку, — говорит он. — Так что получить патологичную волю тоже довольно просто».

Андерс говорит: «Предположим, к примеру, что мы можем создать робота, способного совершенствовать свой ум, и дали ему задачу делать скрепки. В качестве попутной цели к производству скрепок он делает себя умнее. Но это не входило в наши планы. Нам просто нужны были скрепки. Теперь у нас есть сверхразумный агент, у которого есть выверенный план того, как превратить в скрепки всю вселенную. В этот момент мы можем сказать: «Погоди, я не это имел в виду!» — но это нам не поможет, потому что мы превращаемся в груду скрепок».

Это дурацкий пример, но у нас уже есть компьютеры, с помощью своих вычислительных мощностей выдающие неожиданные идеи и решения, чаще верные, нежели ошибочные. Сколько раз автоматическая проверка правописания позволяла вам исправить ваши случайные ошибки? Машинное обучение делает потрясающие вещи, порой невероятные. Приложение-переводчик от Google выучило языки мира самостоятельно, не в результате кропотливого процесса кодирования смыслов всех глаголов программистами, а путем статистического анализа обширных баз данных существующих переводов. Когда вы нажимаете на кнопку «перевести» на веб-странице, оно выискивает знакомые закономерности и подставляет соответствующие слова из другого языка. Чаще всего результат осмыслен; иногда — странен.