Искусственный интеллект – надежды и опасения

Вот один из моих сценариев. Скажем, придет пора, когда человеческое сознание легко можно оцифровать, виртуализировать и т. д.; в итоге довольно быстро мы получим некий ящик с триллионом душ внутри. Да, в ящике триллион душ, и все они виртуальны. В этом ящике производятся молекулярные вычисления – возможно, в биологическом контексте или в каком-то еще. Так или иначе, в ящике разворачиваются сложные действия. А рядом с ящиком лежит камень. Внутри камня постоянно происходят всевозможные сложные действия – стараниями разнообразных субатомных частиц. В чем разница между камнем и ящиком с триллионом душ? Подробности происходящего в ящике обусловлены долгой историей человеческой цивилизации, в том числе историей вчерашних просмотров видео на YouTube. Тогда как камень обладает протяженной геологической историей, но не причастен к истории нашей цивилизации.

Понимание того, что отсутствует принципиальное различие между интеллектом и простыми вычислениями, заставляет воображать именно такое будущее: конец цивилизации, ящик с триллионом душ, каждая из которых тратит вечность на видеоигры. Какова же «цель» такого развития?