Искусственный интеллект и будущее человечества

– Ты действительно веришь в это? – спросил я. – Ты действительно считаешь, что искусственный интеллект собирается тебя убить?

Нейт коротко кивнул и щелкнул крышкой красного маркера.

– Всех нас, – ответил он. – Вот почему я покинул Google. В перспективе этот риск самый серьезный. И, в отличие от других разрушительных рисков, например изменения климата, он чрезвычайно недооценен. Над проектом разработки искусственного интеллекта трудятся тысячи людей, в него вливаются миллиарды долларов. А над его безопасностью по-настоящему работают меньше десяти человек во всем мире, четверо из которых находятся в этом здании. Это подобно тому, как если бы тысячи людей пытались опередить друг друга в разработке ядерного синтеза, но никто бы не задумывался о его сдерживании. А мы должны работать над сдерживанием искусственного интеллекта. Потому что очень умные люди, работающие над искусственным интеллектом и постепенно приближающиеся к нему сейчас, в случае успеха просто убьют всех.

– При нынешнем положении дел, – сказал я, – с большей вероятностью мы будем уничтожены этой технологией, не так ли?

– По умолчанию – да, – ответил Нейт и поставил свой красный маркер на стол, удерживая его вертикально, словно ракету, готовящуюся к запуску. Он произносил это удивительно отстраненно для говорящего о моей смерти, или о смерти моего сына, или о смерти моих будущих внуков, не говоря уже о любом человеке, кому не посчастливится столкнуться с этим неизбежным апокалипсисом. Он будто говорил о какой-то чисто технической проблеме, о некотором требовательном и строгом бюрократическом препятствии.

– Я настроен довольно оптимистично, – сказал он, откидываясь в кресле. – Если мы будем больше говорить об этих проблемах, то по мере стремительного продвижения в направлении создания искусственного интеллекта люди станут гораздо больше беспокоиться и подготовятся к его приходу. Но без таких людей, как мы, поднимающих эти вопросы, наш путь по умолчанию, безусловно, обречен на провал.

По причинам, которые мне трудно объяснить, эта фраза «путь по умолчанию» все утро не выходила у меня из головы, тихо отдаваясь эхом в сознании – когда я покинул офис МИРИ и направился в сторону станции скоростных электропоездов системы BART и когда мчался на запад через темноту бухты. Никогда ранее я не слышал эту фразу, но интуитивно понял, что это был термин программирования, перенесенный на более широкий контекст будущего. Фраза «путь по умолчанию», обозначающая, как я позже узнал, список каталогов, в которых операционная система ищет исполняемые файлы в соответствии с заданной командой, представляла собой взгляд на нашу реальность в миниатюре: уверенность, подкрепленная абстракциями и повторяющимися доказательствами того, что мир представляет собой тайную систему команд и действий и что его уничтожение или спасение – это следствие неукоснительно выполняемых логических операций. Это был именно тот апокалипсис, или, иными словами, именно то спасение, которое мог вообразить программист. И какова природа этих неукоснительно выполняемых логических операций? Что необходимо для предотвращения такого апокалипсиса?

Прежде всего необходимы, как и всегда, деньги и умные люди. И, к счастью, было много людей с достаточным количеством денег для финансирования достаточно умных людей. Большая часть средств финансирования МИРИ поступала в виде небольших пожертвований от заинтересованных граждан, людей, работающих в сфере технологий, в основном программистов, инженеров программного обеспечения и так далее. Также поступали щедрые пожертвования от таких миллиардеров, как Питер Тиль и Илон Маск.

На той неделе, когда я посетил МИРИ, в штаб-квартире Google в городе Маунтин-Вью проходила важная конференция, организованная группой «Эффективный альтруизм» – набирающим популярность общественным движением, становящимся все более влиятельным среди предпринимателей Силиконовой долины и внутри рационалистического сообщества. «Эффективный альтруизм» характеризует себя как «интеллектуальное движение, использующее разум и факты, чтобы сделать мир как можно лучше». Эффективно-альтруистический поступок, в отличие от эмоционально-альтруистического, – это, например, ситуация, когда студентка колледжа, вместо того чтобы стать врачом и строить карьеру в области лечения слепоты в развивающихся странах, тратит время более рационально, становится менеджером хедж-фонда на Уолл-стрит и жертвует весомую часть своего дохода на благотворительность – так она может оплатить работу нескольких врачей, способных помочь гораздо большему количеству людей вылечиться от слепоты.

На конференции основное внимание уделялось вопросам искусственного интеллекта и экзистенциальному риску. Тиль и Маск, выступавшие на конференции с Ником Бостромом, под влиянием «Эффективного альтруизма» пожертвовали большие суммы денег организациям, сосредоточившимся на безопасности искусственного интеллекта.