Искусственный интеллект. Этапы. Угрозы. Стратегии

Варианты, приведенные в таблице, включают в себя причинный подход к принятию решений (у которого есть множество вариаций) и подход на основе ожиданий, а также более современных кандидатов вроде «безусловного» и «вневременного» подхода, которые еще только разрабатываются[525]. Может оказаться не слишком просто подобрать верный вариант и убедиться, что мы правильно его используем. Хотя перспективы прямого описания подхода ИИ к принятию решений кажутся более реальными, чем прямого описания его конечных целей, значительный риск ошибки все-таки существует. Многие сложности, способные поставить в тупик наиболее популярные теории принятия решений, были обнаружены совсем недавно, откуда следует, что могут существовать и иные проблемы, пока невидимые глазу. В случае ИИ результаты применения ошибочного подхода могут быть катастрофическими, вплоть до гибели всего человечества.

Учитывая эти сложности, возникает идея описать подход к принятию решений, который должен использовать ИИ, непрямым методом. Можно предложить ИИ использовать «тот подход к принятию решений D, который мы предложили бы ему применить после долгих размышлений над этим вопросом». Однако ИИ должен иметь возможность принимать решения еще до того, как узнает, что такое D. Отсюда возникает потребность в промежуточном подходе к принятию решений D’, которым ИИ мог бы руководствоваться в процессе поиска D. Можно попытаться определить D’ как своего рода суперпозицию текущих гипотез ИИ о D (взвешенных на их вероятности), хотя остаются нерешенными некоторые технические проблемы, в частности, как сделать это в общем виде[526]. Есть еще один повод для беспокойства: ИИ способен сделать непоправимо неверный выбор (например, перезаписать себя, зафиксировав ошибочный подход к принятию решений) на стадии обучения, прежде чем у него появится возможность определить правильность того или иного подхода. Чтобы уменьшить риск ошибки в период повышенной уязвимости ИИ, можно попробовать наделить зародыш ограниченной рациональностью в той или иной форме — сознательно упрощенным, но более надежным подходом к принятию решений, который стойко игнорирует эзотерические соображения, даже если мы думаем, что они в конечном счете могут оказаться правильными, и который впоследствии должен заменить себя на более сложный (непрямой) подход к принятию решений, удовлетворяющий определенным критериям[527]. Можно ли это сделать, и если да, то как — вопрос открытый.

Эпистемология, или Познание мира

В рамках проекта необходимо сделать фундаментальный выбор в отношении методов теории познания, которыми будет пользоваться ИИ, и описать принципы и критерии оценки эпистемологических гипотез. Можно, например, остановиться на байесовском подходе и принять эпистемологию как функцию априорного распределения вероятности — имплицитного присвоения ИИ значений вероятности возможным мирам до того, как им будут рассмотрены и учтены какие-либо воспринимаемые свидетельства. В других условиях методы познания могут принимать иную форму, однако в любом случае необходимо некоторое индуктивное правило обучения, если ИИ должен обобщать наблюдения, сделанные в прошлом, и делать предсказания относительно будущего[528]. Однако, как и в случае с описанием цели и подходом к принятию решений, есть риск, что наше определение эпистемологии окажется ошибочным.

На первый взгляд может показаться, что размер ущерба от неправильного выбора методов теории познания ограничен. Ведь если они совсем не будут работать, ИИ просто окажется не слишком интеллектуальным и не будет представлять угрозу, о которой говорится в этой книге. Но остается опасность, что эпистемология будет определена достаточно хорошо для того, чтобы ИИ был инструментально эффективен в большинстве ситуаций, но при этом в определении будет содержаться некий изъян, из-за которого ИИ собьется с пути в каком-то жизненно важном вопросе. Такой ИИ станет походить на умного человека, абсолютно убежденного в истинности ложной догмы, на которой выстроена его философия; он начнет «бороться с ветряными мельницами» и всего себя посвятит достижению фантастических или опасных целей.