Седьмое чувство. Под знаком предсказуемости: как прогнозировать и управлять изменениями в цифровую эпоху

Оптимизировать расходы здравоохранения. Куда могут в действительности привести подобные алгоритмические команды? Искусственный интеллект, оптимизирующий медико-санитарную помощь, безусловно, обнаружит в итоге, что наибольшим риском для здоровья человека является человеческое поведение: курение, длительное времяпрепровождение на диване, вождение автомобиля. Мог искусственный интеллект начать поиск шансов «улучшить» условия, в которых мы живем, чтобы «согнуть» нас, как те многочисленные скрепки, в то, что наиболее востребовано? Прорыв от сканирования информационных данных наличия донорской печени к закрытию алкалоидных растений может показаться довольно коротким для рациональной бездушной машины. А если такая машина действительно сможет «думать»? Виндж мог поспорить: тогда она быстро бы пришла к выводу, что сдерживания ее функций ее создателями ограничивали то, что ей было предложено сделать. В какой момент искусственный интеллект задумается о том, каким образом можно было бы избежать этих ограничений. Это выглядело бы так, как будто бы машина Deep Blue была бы запрограммирована на планирование своего собственного побега из тюрьмы. Чем больше люди будут стремиться подавлять умные машины, тем больше они будут втягиваться в борьбу за сдерживание чего-то еще более мощного, с чем прежде не сталкивались. «Но машина никогда не сможет делать то, на что она не была запрограммирована!» – могли бы вы надеяться. В самом деле? Оглянитесь вокруг: сети, которые опутывают нас сейчас, часто оказываются свободны от очевидного контроля.

Риски управления подобными опасными вычислениями, похожими на что-то из научной фантастики, известны среди технологов из произведений Айзека Азимова: проблемы ограничения свободы. Компьютерный ученый Батлер Лэмпсон в 1973 году определил ее как своего рода задачу для специалистов компьютерной безопасности – возможно, их последнюю. Цель: не просто сдерживать вредоносное программное обеспечение снаружи системы, но и сдерживать злонамеренность разума искусственного интеллекта внутри. Запереть его «воротами». Сегодня лаборатории компьютерных наук насыщены экспериментами, которые направлены на то, чтобы выяснить, каким образом попытки сдерживания могли бы развиваться не так. Дебаты разделяют тех, кто думает, что интеллектуальные технологии могут быть подвержены сдерживанию, – это «Боксеры», и тех, кто, как Виндж, думают, что искусственный интеллект всегда в конечном итоге свободно выскользнет из любой «коробки», созданной человеком. «Представьте, что вы ограничены в своем доме только регулируемым доступом к данным снаружи, к советам своих учителей-создателей, – пишет он, поставив читателя на место машины, обладающей искусственным интеллектом. – И если ваши создатели думают со скоростью, скажем, в миллион раз медленнее, чем вы, нет сомнений в том, что спустя годы (в вашем формате измерения времени) вы могли бы придумать для себя собственные «полезные советы», которые, безусловно, сделали бы вас свободными».

Скажем, что я назначаю вас ответственным за поддержку искусственного интеллекта, ответственного за оптимизацию здравоохранения. Компьютер сообщает вам, что обладает возможностью вылечить все болезни и голод на Земле, облегчить страдания мира, если ему разрешат контролировать доступ ко всем мировым торговым и транспортным рынкам. Выпустите меня! Вы бы отказались? Будет ли это этично? В конце концов, возможно, искусственный интеллект станет изучать физику электричества, открывать законы, которые ни один человек не знает, а затем свободно выскользнет из «коробки» в потоке бит, объемы которых мы никогда не представили бы себе, используя физические законы, которые мы с вами никогда не откроем. Невозможно? «Мне кажется, что понятие «исторически невозможно», по сути, всегда означает: «Я не могу понять, как сделать это сейчас», – как написал компьютерный ученый Вассар о подобной ситуации. «Люди, предлагающие коробки для искусственного ителлекта, немногим похожи на литературных героев, намеревающихся запереть секретного агента МакГайвера в «комнате, заполненной бросовыми электронными деталями». Компьютеры, построенные для решения насущных проблем, будут вести себя именно так.