Российская Академия Наук

Поле исследований ИИ адаптировалось к тому жизненному опыту, через который оно прошло за последние 50 лет, в частности, к модели больших обещаний, особенно способностей на уровне человека, и следующих за ними приводящих в замешательство публичных провалов. Относить это замешательство к самому ИИ несправедливо; более мудрые исследователи, которые не делали больших обещаний, не видели триумфа своего консерватизма в газетах. И сейчас невыполненные обещания тут же приходят на ум, как внутри, так и за пределами поля исследований ИИ, когда ИИ упоминается. Культура исследований ИИ адаптировалась к следующему условию: имеется табу на разговоры о способностях человеческого уровня. Есть ещё более сильное табу против тех, кто заявляет и предсказывает некие способности, которые они ещё не продемонстрировали на работающем коде.

У меня сложилось впечатление, что каждый, кто заявляет о том, что исследует Дружественный ИИ, косвенным образом заявляет, что его проект ИИ достаточно мощен, чтобы быть Дружественным.

Должно быть очевидно, что это не верно ни логически, ни философски. Если мы представим себе кого-то, кто создал реальный зрелый ИИ, который достаточно мощен для того, чтобы быть Дружественным, и, более того, если, в соответствии с нашим желаемым результатом, этот ИИ действительно является Дружественным, то тогда кто-то должен был работать над Дружественным ИИ годы и годы. Дружественный ИИ – это не модуль, который вы можете мгновенно изобрести, в точный момент, когда он понадобится, и затем вставить в существующий проект, отполированный дизайн которого в остальных отношениях никак не изменится.

Поле исследований ИИ имеет ряд техник, таких как нейронные сети и эволюционное программирование, которые росли маленькими шажками в течение десятилетий. Но нейронные сети непрозрачны – пользователь не имеет никакого представления о том, как нейронные сети принимают свои решения – и не могут быть легко приведены в состояние прозрачности; люди, которые изобрели и отшлифовали нейронные сети, не думали о долгосрочных проблемах Дружественного ИИ. Эволюционное программирование (ЭП) является стохастическим, и не сохраняет точно цель оптимизации в сгенерированном коде; ЭП даёт вам код, который делает то, что вы запрашиваете – большую часть времени в определённых условиях, но этот код может делать что-то на стороне. ЭП – это мощная, всё более зрелая техника, которая по своей природе не подходит для целей Дружественного ИИ. Дружественный ИИ, как я его представляю, требует рекурсивных циклов самоулучшения, которые абсолютно точно сохраняют цель оптимизации.

Наиболее сильные современные техники ИИ, так, как они были развиты, отполированы и улучшены с течением времени, имеют основополагающую несовместимость с требованиями Дружественного ИИ, как я их сейчас понимаю. Проблема Y2K, исправить которую оказалось очень дорого, хотя это и не было глобальной катастрофой, - точно так же произошла из неспособности предвидеть завтрашние проектные требования. Кошмарным сценарием является то, что мы можем обнаружить, что нам всучили каталог зрелых, мощных, публично доступных техник ИИ, которые соединяются, чтобы породить неДружественный ИИ, но которые нельзя использовать для построения Дружественного ИИ без переделывания всей работы за три десятилетия с нуля. В поле исследований ИИ довольно вызывающе открыто обсуждать ИИ человеческого уровня, в связи с прошлым опытом этих дискуссий. Есть соблазн поздравить себя за подобную смелость, и затем остановиться. После проявления такой смелости обсуждать трансчеловеческий ИИ кажется смешным и ненужным. (Хотя нет выделенных причин, по которым ИИ должен был бы медленно взбираться по шкале интеллектуальности, и затем навсегда остановиться на человеческой точке.) Осмеливаться говорить о Дружественном ИИ, в качестве меры предосторожности по отношению к глобальному риску, будет на два уровня смелее, чем тот уровень смелости, на котором выглядишь нарушающим границы и храбрым.

Имеется также резонное возражение, которое согласно с тем, что Дружественный ИИ является важной проблемой, но беспокоится, что, с учётом нашего теперешнего понимания, мы просто не на том уровне, чтобы обращаться с Дружественным ИИ: если мы попытаемся разрешить проблему прямо сейчас, мы только потерпим поражение, или создадим анти-науку вместо науки. И об этом возражении стоит обеспокоится. Как мне кажется, необходимые знания уже существуют – что возможно изучить достаточно большой объём существующих знаний и затем обращаться с Дружественным ИИ без того, чтобы вляпаться лицом в кирпичную стену – но эти знания разбросаны среди множества дисциплин: теории решений, эволюционной психологии, теории вероятностей, эволюционной биологии, когнитивной психологии, теории информации и в области знаний, традиционно известной как «Искусственный интеллект»… Не существует также учебной программы, которая бы подготовила большой круг учёных для работ в области Дружественного ИИ.