Глава 6
Разговор об экзистенциальном риске искусственного интеллекта
Я никак не мог представить себе сингулярность, даже отбросив на мгновение свои сомнения и явно религиозные черты ее основной мысли. Признаюсь, что никогда не осознавал привлекательности этой идеи и никогда достаточно точно не понимал, что она подразумевает – почему перспективу бестелесного существования в виде чистой информации рассматривают как спасение, а не как гибель. Внутренние инстинкты подсказывали мне, что если у жизни и есть смысл, то этот смысл в том, чтобы быть животным, быть неразрывно связанным с рождением, размножением и смертью.
Более того, идея нашего спасения с помощью технологий и искусственного интеллекта совершенно не увязывалась с моим пониманием жизни, с тем немногим, что мне довелось понять о крайне разрушительном виде приматов, к которому я принадлежу. Я пессимист и думаю, что мы будем скорее уничтожены плодами нашей изобретательности, чем спасены ими. Наша планета сейчас находится на грани шестого массового вымирания с момента первого появления жизни на ее поверхности. Первое вымирание было также вызвано воздействием на окружающую среду одним из живущих на ней видов.
Вот почему, читая о растущем страхе перед превосходящим человека искусственным интеллектом, который может стереть все человечество с лица земли, я чувствовал, что такое видение технологического будущего близко моему фаталистическому настроению.
Образы трагических предвестников используют широкоформатные газеты – почти всегда с апокалиптическими изображениями Терминатора из одноименного фильма, титанового робота-убийцы, глядящего на читателя сверкающими красными точками безжалостных глаз. Илон Маск говорил об искусственном интеллекте как о «величайшей экзистенциальной угрозе» и о его развитии как о технологическом способе «вызова демона». «Очень надеюсь, что мы не просто биологический загрузчик операционной системы для цифрового сверхинтеллекта, – написал он в твиттере в августе 2014 года. – К сожалению, это становится все более вероятным». Питер Тиль заявил, что «люди тратят слишком много времени, думая об изменении климата, и слишком мало – думая об искусственном интеллекте». Стивен Хокинг написал статью для издания The Independent, в которой предупреждал, что это будет «самое большое событие в истории человечества» и, вполне вероятно, может оказаться «последним, если мы не научимся учитывать риски». Даже Билл Гейтс публично высказал свои волнения, не понимая, «почему некоторые люди не обеспокоены этим».
А был ли я сам обеспокоен этим? И да, и нет. Я не особо верил тому, что взывало к моему внутреннему пессимизму, – во многом потому, что это казалось мне оборотной стороной пророчеств сингулярности об искусственном интеллекте, вступившем в свои права, и о человеческих существах, достигших невообразимых высот знания и силы и живущих вечно в сияющем свете сингулярности. Но я понял, что мой скептицизм был основан скорее на эмоциях, чем на логике, и что я почти ничего не знаю о возможных весьма убедительных основаниях этих страхов и о том, что их провоцирует. Даже если бы я смог убедить себя, что все это – правда, я был беспомощно, болезненно заворожен мыслью о том, что мы могли бы оказаться на грани создания машины, которая будет способна уничтожить весь наш вид. Великие философские умы капитализма – Маск, Тиль, Гейтс – открыто беспокоились о губительной опасности заветной цели этой идеологии. Эти мрачные предупреждения об искусственном интеллекте поступали не от луддитов или религиозных катастрофистов, от которых их можно было бы ожидать, а от людей, которые воплощали в себе наше благоговение перед машинами.
Поразительно, что существует ряд научно-исследовательских институтов и аналитических центров, посвященных изучению риска полного уничтожения нашего вида – «экзистенциального риска» – и возможностей избежать именно его, а не других бедствий, таких как изменение климата, или ядерная война, или глобальная пандемия. Например, этим занимаются в Институте будущего человечества в Оксфорде, в Центре изучения экзистенционального риска Кембриджского университета, в Институте исследования машинного интеллекта в Беркли и в Институте будущей жизни в Бостоне. Среди научных консультантов этих организаций не только выдающиеся деятели науки и техники, такие как Маск, Хокинг и родоначальник генетики Джордж Чёрч, но и киноактеры – Алан Алда и Морган Фримен.