Искусственный интеллект и будущее человечества

«Искусственный интеллект может сделать резкий скачок в своем развитии исключительно в результате антропоморфизма, склонности человека думать, что ум «деревенского дурачка» и «Эйнштейна» – это крайние точки некой шкалы интеллекта, хотя в масштабе разума в целом эти точки почти неразличимы. Все «тупее» мыслей не самого смышленого человека может показаться нам просто «тупым». Можно представить, как воображаемая стрелка искусственного интеллекта неуклонно ползет по шкале вверх, оставляя позади мышей и шимпанзе, но искусственный интеллект по-прежнему остается «тупым», потому что не может свободно говорить или писать научные статьи. И вдруг, в течение одного месяца или другого примерно такого же короткого периода, «стрелка» искусственного интеллекта пересекает на самом деле крошечный промежуток от нижней точки, «дурачка», до верхней точки, «Эйнштейна».

Согласно теории в этой точке все изменится радикально. А будут ли изменения к лучшему или к худшему – это открытый вопрос. По словам Ника, главный риск не в том, что сверхразумные машины могут быть враждебно настроены по отношению к своим человеческим создателям, а в том, что они будут безразличны к ним. В конце концов люди не были враждебно настроены по отношению к большинству видов, которые вымерли в течение тысячелетий нашего восхождения. Они просто не оказались частью нашего замысла. То же может случиться с машинами, обладающими сверхинтеллектом: они будут относиться к нам, как мы к животным, которых разводим для пропитания, или к тем существам, на которых не обращаем внимания, потому что у нас с ними нет точек соприкосновения.

Ник стремился подчеркнуть саму природу угрозы: не будет никакой злобы, никакой ненависти, никакой мести со стороны машин.

– Не думаю, – сказал он, – что я когда-либо увижу газетную статью с заголовком из фильма о Терминаторе, что роботы взбунтуются, возмутившись нашим господством, и восстанут против нас. Это не тот случай.

И это снова приводит нас к смехотворному сценарию про канцелярскую скрепку, смысл которого в том, что любой вред от сверхинтеллектуальной машины будет не результатом злого умысла или любого другого эмоционального побуждения, а исключительно следствием того, что наше отсутствие станет оптимальным условием для достижения конкретной цели этого интеллекта.

«Искусственный интеллект не ненавидит вас и не любит вас, – выразился Юдковский, – просто вы состоите из атомов, которые нужны ему для чего-то другого».

Один из способов понять эту логику – послушать записи Гленна Гульда, играющего свои интерпретации произведений Баха, и попытаться насладиться красотой музыки, одновременно удерживая в голове мысль о разрушениях, вызванных производством фортепиано: о вырубке деревьев, об истреблении слонов, об убийствах и порабощении людей ради прибыли торговцев слоновой костью. Ни пианист, ни создатель фортепиано не испытывали личной неприязни к деревьям, слонам или порабощенным мужчинам и женщинам. Но все они состояли из атомов, которые могли быть использованы для конкретных целей – зарабатывания денег и создания музыки. Иными словами, машина, так пугающая рационалистов, возможно, не так уж и отличается от нас самих.