Совместимость. Как контролировать искусственный интеллект

Разумеется, определенные трудности сопутствуют интерпретации этих исходных данных, включающих пропаганду, вымысел, бред сумасшедших и даже заявления политиков и президентов, но, безусловно, у машины нет причин принимать это все за чистую монету. Машины могут и будут интерпретировать все коммуникации других разумных сущностей как шаги на игровом поле, а не как установленные факты. В некоторых играх, например на сотрудничество с участием одного человека и одной машины, у человека есть стимул быть правдивым, но во многих других ситуациях имеются стимулы к нечестности. Разумеется, честные или лживые, люди могут искренне заблуждаться.

Есть и другой тип косвенных данных, бросающихся в глаза: то, каким мы сделали мир[248]. Мы сделали его именно таким, потому что — очень сильно обобщая — он нравится нам таким. (Разумеется, он не совершенен!) Представьте теперь, что вы инопланетянин, оказавшийся на Земле, когда все люди уехали на выходные. Заглядывая в их дома, начнете ли вы понимать основы человеческих предпочтений? На полах лежат ковры, потому что нам нравится ходить по мягким теплым поверхностям и не нравятся громкие шаги; вазы стоят посреди столов, а не на краю, потому что мы не хотим, чтобы они упали и разбились, и т. д. — все, что не организовано самой природой, дает представление о том, что нравится и что не нравится странным двуногим созданиям, населяющим эту планету.

Причины для опасений

Вы можете заметить, что обещания Партнерства по развитию ИИ относительно кооперации в области обеспечения безопасности ИИ не слишком вдохновляют, если следите за прогрессом в области автономных автомобилей. Это остроконкурентная область по веским причинам. Первый производитель, который выпустит на рынок полностью автономное транспортное средство, получит гигантское рыночное преимущество; это преимущество будет развиваться, поскольку производитель сможет быстрее собирать больше данных для улучшения работы системы; компании, занимающиеся извозом, такие как Uber, будут быстро вытеснены из бизнеса, если другая компания выставит полностью автономные такси прежде самого Uber. Это повлечет за собой гонку с высокими ставками, в которой осмотрительность и тщательное конструирование, похоже, менее важны, чем шикарные выставки, переманивание специалистов и публичные показы несовершенных продуктов.

Таким образом, экономическая конкуренция не на жизнь, а на смерть создает импульс экономить на безопасности в надежде выиграть гонку. В ретроспективной статье 2008 г. о конференции 1975 г. в Асиломаре, приведшей к принятию моратория на генетическое изменение людей, один из ее организаторов, биолог Пол Берг, писал[249]:

Это урок Асиломара для всей науки: лучшая реакция на обеспокоенность, вызванную обретаемым знанием или технологиями на раннем этапе развития, состоит в том, чтобы ученые из учреждений с государственным финансированием нашли консенсус с широкой общественностью по поводу лучшего способа контроля — чем раньше, тем лучше. Когда ученые из корпораций начнут доминировать в исследовательском начинании, будет попросту поздно.

Экономическая конкуренция возникает не только между корпорациями, но и между странами. Недавний вал сообщений о многомиллиардных государственных инвестициях в ИИ, поступающих из США, Китая, Франции, Британии и ЕС, безусловно, свидетельствует, что ни один из крупнейших игроков не хочет отстать. В 2017 г. президент России Владимир Путин сказал: «Тот, кто станет лидером [в сфере ИИ], будет править миром»[250]. Это совершенно верный вывод. Продвинутый ИИ, как мы убедились в главе 3, приведет к огромному росту производительности и частоты инноваций практически во всех областях. Если его владелец не станет делиться инновациями, то получит возможность обойти любое соперничающее с ним государство или экономический блок.

Ник Бостром в «Сверхразумности» предостерегает против этой мотивации. Конкуренция государств, как и конкуренция корпораций, будет более сосредоточиваться на развитии возможностей как таковых и в меньшей мере — на проблеме контроля. Возможно, однако, что Путин читал Бострома; далее он сказал: «Было бы крайне нежелательно, чтобы кто-либо захватил монопольное положение». Это было бы еще и довольно бессмысленно, поскольку ИИ человеческого уровня не является игрой с нулевым итогом, и, поделившись им, нельзя ничего потерять. Напротив, конкурентная борьба за то, чтобы первым создать ИИ человеческого уровня, не решив сначала проблему контроля, — это игра с отрицательным итогом. Отдача для каждого — минус бесконечность.