Преимущества машины, способной думать о тех вещах, о которых не можем думать мы, очевидны, но именно в этой способности и кроется угроза. Риск появления роботов, желающих поработить мир, невелик. Куда более рискованно то, что они будут хотеть делать что-то неожиданное, потому что мы их такими создали. Эта опасность — более глубокий вариант проблемы, уже досаждающей людям, работающим с роботами на космических аппаратах и в лабораториях: люди получают травмы, потому что не могут предугадать действия роботов.
Помочь может создание роботов, мышление которых ближе к человеческому, чьи закономерности мышления для нас были хотя бы постижимы. Вообразите создание компьютера с системой машинного обучения; усадите его мысленно за работу по разбору человеческого поведения и морали, закономерностей нашей истории и литературы. Понравится ли нам получившийся в итоге робот? Об убийстве и предательстве он узнает по меньшей мере столько же, сколько о любви и любознательности.
Человеческая этика эмоциональна, она эволюционирует вместе с нашими культурами. Движения за защиту окружающей среды не существовало до промышленной революции, но защита природы стала таким же центральным мотивом жизни некоторых людей, как для других — набожность. С чего нам печься о защите инопланетных существ, от которых нам никакого проку? Сверхразум может истолковать эти идеи как бессмысленные или сделать из них совершенно неожиданные выводы.
Сейчас не существует компьютеров, достаточно умных, чтобы так мыслить. Искусственный интеллект, сравнимый с человеческим, все время обещают «через двадцать лет». Стюарт Армстронг и Кадж Сотала из Института будущего человечества и Института исследований машинного интеллекта изучили 95 предсказаний появления ИИ, сделанных с 1950-х гг. Они обнаружили, что не важно, является ли прогнозирующий экспертом или непосвященным, опирается на доказательства или просто угадывает — чаще всего они говорят, что ИИ, сравнимый с человеческим, появится через 20 лет.
Циничное объяснение этих неудавшихся прогнозов в том, что при двадцатилетнем пределе предсказание имеет отношение к карьере самих ученых, но их взгляды не успеют признать ошибочными до ухода на покой. Но в основе своей предсказать это событие довольно сложно, потому что мы не знаем, когда произойдут ключевые открытия. Авиация развилась взрывообразно, как только братья Райт придумали правильную форму крыла. Если Бостром прав, то уже родился тот гений, в чью голову придет подобная стартовая идея, и, быть может, роботы не глупее людей появятся через поколение. Если же нет, то ждать придется еще долго.
Где мы находимся сейчас? Крупнейшие успехи в машинном обучении иллюстрируют то, как трудно нам дается воспроизведение гибкого человеческого разума. Лондонская компания под названием DeepMind[64]
, приобретенная Google, заявила о заметном прорыве в области ИИ в 2015 г.: она продемонстрировала компьютер, способный учиться играть в видеоигры 1980-х гг. для Atari, такие как Breakout, Pong и Space Invaders; в некоторые из них он играл куда лучше любого человека. Программистам не пришлось «скармливать» компьютеру подробности каждой игры; компьютер выработал свою стратегию для 49 игр и после усовершенствования, вероятно, сможет научиться играть и в другие игры.Но, для того чтобы все это заработало, программистам понадобился очень мощный компьютер, тщательно маркированные базы данных для обучения играм и маленький игровой экран, который они ограничили 80 пикселями по стороне, чтобы сложнейшие вычисления были возможны. И все равно компьютер плохо осваивал игры с элементом долгосрочной стратегии: в Ms. Pac-Man и Centipede он играл хуже человека.
Система нуждалась в таком объеме вычислительных мощностей, потому что она училась играть, статистически анализируя огромные базы данных о предшествующих играх.
«Благодаря тому, что у нас больше данных, мы можем потягаться с человеческим интеллектом, хотя и занимаемся вещами, вероятно, куда более глупыми, чем то, что делают люди, — говорит Бернхард Шёлькопф, эксперт по машинному обучению в Институте интеллектуальных систем Общества Макса Планка, написавший о самообучающейся играм системе в
. — В некоторых случаях мы достигли предела человеческих возможностей, просто увеличив объем баз данных, но за последние десятилетия в области машинного обучения почти не возникало новых идей. Если мы просто будем увеличивать объемы данных, то, возможно, упремся в потолок».Машинное обучение — это поиск закономерностей в огромных массивах данных, поиск повторяющихся закономерностей. Но человеческий мозг прогнозирует с куда меньшими усилиями, предугадывая причины и следствия. Ребенку незачем видеть миллионы примеров прыгающих мячей, чтобы предугадать, что произойдет с мячом, если его уронить. Новые ситуации, такие как принятие решения о дальнейших действиях в случае неожиданных находок в ходе изучения Титана, потребуют способности предсказывать возможные исходы при недостатке данных. Никто еще не придумал, как это сделать.