Читаем Совместимость. Как контролировать искусственный интеллект полностью

Если мы используем для достижения своих целей механического посредника, в действие которого не можем эффективно вмешаться… нам нужна полная уверенность в том, что заложенная в машину цель является именно той целью, к которой мы действительно стремимся.

«Заложенная в машину цель» – это те самые задачи, которые машины оптимизируют в стандартной модели. Если мы вводим ошибочные цели в машину, более интеллектуальную, чем мы сами, она достигнет цели и мы проиграем. Описанная мною деградация социальных сетей – просто цветочки, результат оптимизации неверной цели во всемирном масштабе, в сущности, неинтеллектуальным алгоритмом. В главе 5 я опишу намного худшие результаты.

Этому не приходится особенно удивляться. Тысячелетиями мы знали, как опасно получить именно то, о чем мечтаешь. В любой сказке, где герою обещано исполнить три желания, третье всегда отменяет два предыдущих.

В общем представляется, что движение к созданию сверхчеловеческого разума не остановить, но успех может обернуться уничтожением человеческой расы. Однако не все потеряно. Мы должны найти ошибки и исправить их.

Можем ли мы что-то исправить

Проблема заключается в самом базовом определении ИИ. Мы говорим, что машины разумны, поскольку можно ожидать, что их действия приведут к достижению их целей, но не имеем надежного способа добиться того, чтобы их цели совпадали с нашими.

Что, если вместо того, чтобы позволить машинам преследовать их цели, потребовать от них добиваться наших целей? Такая машина, если бы ее можно было построить, была бы не только интеллектуальной, но и полезной для людей. Попробуем следующую формулировку:

Машины полезны настолько, насколько можно ожидать, что их действия достигнут наших целей.

Пожалуй, именно к этому нам все время следовало стремиться.

Разумеется, тут есть трудность: наши цели заключены в нас (всех 8 млрд человек, во всем их великолепном разнообразии), а не в машинах. Тем не менее возможно построить машины, полезные именно в таком понимании. Эти машины неизбежно будут не уверены в наших целях – в конце концов, мы сами в них не уверены, – но, оказывается, это свойство, а не ошибка (то есть хорошо, а не плохо). Неуверенность относительно целей предполагает, что машины неизбежно будут полагаться на людей: спрашивать разрешения, принимать исправления и позволять себя выключить.

Исключение предпосылки, что машины должны иметь определенные цели, означает, что мы должны будем изъять и заменить часть предпосылок ИИ – базовые определения того, что мы пытаемся создать. Это также предполагает перестройку значительной части суперструктуры – совокупности идей и методов по разработке ИИ. В результате возникнут новые отношения людей и машин, которые, я надеюсь, позволят нам благополучно прожить следующие несколько десятилетий.

2. Разумность людей и машин

Если вы зашли в тупик, имеет смысл вернуться назад и выяснить, в какой момент вы свернули не в ту сторону. Я заявил, что стандартная модель ИИ, в которой машины оптимизируют фиксированную цель, поставленную людьми, – это тупик. Проблема не в том, что у нас может не получиться хорошо выполнить работу по созданию ИИ, а в том, что мы может добиться слишком большого успеха. Само определение успеха применительно к ИИ ошибочно.

Итак, пройдем по собственным следам в обратном направлении вплоть до самого начала. Попытаемся понять, как сложилась наша концепция разумности и как получилось, что она была применена к машинам. Тогда появится шанс предложить лучшее определение того, что следует считать хорошей системой ИИ.

Разумность

Как устроена Вселенная? Как возникла жизнь? Где ключи к пониманию этого? Эти фундаментальные вопросы заслуживают размышлений. Но кто их задает? Как я на них отвечаю? Как может горстка материи – несколько килограммов розовато-серого бланманже, которое мы называем мозгом, – воспринимать, понимать, прогнозировать и управлять невообразимо огромным миром? Очень скоро мозг начинает исследовать сам себя.

Тысячелетиями мы пытаемся понять, как работает наш ум. Первоначально это делалось из любопытства, ради самоконтроля и вполне прагматичной задачи решения математических задач. Тем не менее каждый шаг к объяснению того, как работает ум, является и шагом к воссозданию возможностей ума в искусственном объекте – то есть к созданию ИИ.

Перейти на страницу:

Похожие книги

Без своего мнения. Как Google, Facebook, Amazon и Apple лишают вас индивидуальности
Без своего мнения. Как Google, Facebook, Amazon и Apple лишают вас индивидуальности

Информация – инструмент контроля, тот, кто владеет ею, обретает власть. Мы – люди информационного века. Мы привыкли делать покупки на Amazon, общаться через Facebook, задавать поисковые запросы Google и просто убивать время, пользуясь продукцией Apple. Эти четыре компании-гиганта объединяет одно свойство – все они называют себя защитниками человеческой индивидуальности и многообразия мнений, действующими во имя интересов всех людей. Но так ли все хорошо? Или за «бескорыстными» целями техномонополий стоит тирания голодных до наших данных алгоритмов? Франклин Фоер в своей книге приводит актуальный анализ причин, как идеалистические мечты о новых технологиях пионеров Кремниевой долины превратились в механизмы угнетения и отчуждения свободы и прав. И от того, насколько успешно мы будем отстаивать собственную автономность перед лицом этой угрозы, зависит наше настоящее и будущее.

Франклин Фоер

Публицистика / Зарубежная публицистика / Документальное
Океан вне закона. Работорговля, пиратство и контрабанда в нейтральных водах
Океан вне закона. Работорговля, пиратство и контрабанда в нейтральных водах

На нашей планете осталось мало неосвоенных территорий. Но, возможно, самые дикие и наименее изученные – это океаны мира. Слишком большие, чтобы их контролировать, и не имеющие четкого международного правового статуса огромные зоны нейтральных вод стали прибежищем разгула преступности.Работорговцы и контрабандисты, пираты и наемники, похитители затонувших судов и скупщики конфискованных товаров, бдительные защитники природы и неуловимые браконьеры, закованные в кандалы рабы и брошенные на произвол судьбы нелегальные пассажиры. С обитателями этого закрытого мира нас знакомит пулитцеровский лауреат Иэн Урбина, чьи опасные и бесстрашные журналистские расследования, зачастую в сотнях миль от берега, легли в основу книги. Через истории удивительного мужества и жестокости, выживания и трагедий автор показывает глобальную сеть криминала и насилия, опутывающую важнейшие для мировой экономики отрасли: рыболовецкую, нефтедобывающую, судоходную.

Иэн Урбина

Документальная литература / Документальная литература / Публицистика / Зарубежная публицистика / Документальное
Совместимость. Как контролировать искусственный интеллект
Совместимость. Как контролировать искусственный интеллект

В массовом сознании сверхчеловеческий искусственный интеллект — технологическое цунами, угрожающее не только экономике и человеческим отношениям, но и самой цивилизации. Конфликт между людьми и машинами видится неотвратимым, а его исход предопределенным. Выдающийся исследователь ИИ Стюарт Рассел утверждает, что этого сценария можно избежать.В своей новаторской книге автор рассказывает, каким образом люди уже научились использовать ИИ, в диапазоне от смертельного автономного оружия до манипуляций нашими предпочтениями, и чему еще смогут его научить. Если это случится и появится сверхчеловеческий ИИ, мы столкнемся с сущностью, намного более могущественной, чем мы сами. Как гарантировать, что человек не окажется в подчинении у сверхинтеллекта?Для этого, полагает Рассел, искусственный интеллект должен строиться на новых принципах. Машины должны быть скромными и альтруистичными и решать наши задачи, а не свои собственные.О том, что это за принципы и как их реализовать, читатель узнает из этой книги, которую самые авторитетные издания в мире назвали главной книгой об искусственном интеллекте.Все, что может предложить цивилизация, является продуктом нашего интеллекта; обретение доступа к существенно превосходящим интеллектуальным возможностям стало бы величайшим событием в истории. Цель этой книги — объяснить, почему оно может стать последним событием цивилизации и как нам исключить такой исход.Введение понятия полезности — невидимого свойства — для объяснения человеческого поведения посредством математической теории было потрясающим для своего времени. Тем более что, в отличие от денежных сумм, ценность разных ставок и призов с точки зрения полезности недоступна для прямого наблюдения.Первыми, кто действительно выиграет от появления роботов в доме, станут престарелые и немощные, которым полезный робот может обеспечить определенную степень независимости, недостижимую иными средствами. Даже если робот выполняет ограниченный круг заданий и имеет лишь зачаточное понимание происходящего, он может быть очень полезным.Очевидно, действия лояльных машин должны будут ограничиваться правилами и запретами, как действия людей ограничиваются законами и социальными нормами. Некоторые специалисты предлагают в качестве решения безусловную ответственность.

Стюарт Рассел

Зарубежная образовательная литература, зарубежная прикладная, научно-популярная литература / Зарубежная публицистика / Документальное
Новое долголетие. На чем будет строиться благополучие людей в меняющемся мире
Новое долголетие. На чем будет строиться благополучие людей в меняющемся мире

Вы хотите жить дольше? Вне зависимости от вашего ответа вам, скорее всего, придется. Это еще одно из неизбежных следствий того триумфа науки и технологий, который мы переживаем сегодня. Но куда приведет нас этот небывалый прогресс? Если люди будут жить 100 или 120 лет, сколько из них они смогут (или будут вынуждены) работать? Хватит ли на всех рабочих мест? И как жить не только долго, но и счастливо?Ясно одно: существуют глубокие опасения, связанные с противоречием между индустриальным развитием и преимуществами долгой жизни. Беспрецедентный технологический прогресс не сопровождался необходимыми инновациями и изменениями в социальных структурах. Поэтому в этом непрерывно меняющемся мире мы до сих пор не открыли для себя новые способы жить.Эндрю Скотт и Линда Граттон отвечают на вопрос «Как долголетие изменит нашу жизнь и наш социум?». Опираясь на исследования в области экономики и психологии, они предлагают собственное видение инструментов, необходимых для решения предстоящих задач по созданию нового социального уклада. На примере вымышленных персонажей из разных возрастных и социальных групп они описывают действия и шаги, которые каждый из нас должен предпринять, чтобы приспособиться к долгой жизни. Любой из нас уже сегодня может стать творцом собственной биографии нового образца!

Линда Граттон , Эндрю Скотт

Самосовершенствование / Зарубежная публицистика / Документальное