Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens

Рассуждение очень простое. Мы начинаем с завода, самолета, биологической лаборатории или другой среды со множеством компонентов… Затем нам нужно два или более отказа компонентов, которые взаимодействуют друг с другом каким-то неожиданным образом… Эта тенденция к взаимодействию — характеристика системы, а не часть оператора; назовем это «интерактивной сложностью» системы.

Чарльз Перроу. Нормальные аварии

Я предсказываю, что всего через несколько лет нас ждет серьезная катастрофа, вызванная автономной компьютерной системой, самостоятельно принимающей решения.

Уэндолл Уоллак, специалист по этике, Йельский университет

Мы уже рассмотрели проблемы финансирования и сложности программного обеспечения, чтобы определить, могут ли они

стать препятствиями для интеллектуального взрыва, и выяснили, что ни то ни другое, судя по всему, не помешает продвижению исследователей к созданию УЧИ и ИСИ. Если специалисты по информатике не смогут этого сделать, то они будут лихорадочно пытаться создать хоть что-нибудь мощное примерно в то же время, когда вычислительные нейробиологи доберутся до УЧИ. А скорее всего это будет гибрид технологий, основанный одновременно на принципах когнитивной психологии и нейробиологии.

Если финансирование и сложность программ вроде бы не являются непреодолимым барьером для создания УЧИ, то многое из того, что мы обсуждали, представляет собой серьезные препятствия к созданию УЧИ, думающего по-человечески. Ни один из тех разработчиков ИИ, с кем мне пришлось разговаривать, не планирует строить системы исключительно на базе того, что я в главе 5 окрестил «обычным» программированием. Мы уже говорили, что в обычном, построенном на логике программировании человек пишет каждую строку кода, а весь процесс от начала до конца теоретически доступен и прозрачен для контроля. Это означает, что «безопасность» или «дружественность» программ можно доказать математически. Вместо этого все они собираются использовать обычное программирование и инструменты в виде черных ящиков, вроде генетических алгоритмов и нейронных сетей. Добавьте к этому сложность когнитивных архитектур и получите непознаваемость, которая для УЧИ-систем будет не случайной, а фундаментальной. Ученые получат разумные, но чуждые нам системы.

Известный технарь-предприниматель, ученый и коллега Стива Джобса по Apple Стив Юрветсон рассмотрел вопрос о том, как можно интегрировать «разработанные» и «развившиеся» системы. Он предложил хорошую формулировку для парадокса непознаваемости:

Таким образом, если мы развиваем сложную систему, то получаем черный ящик с интерфейсами. Мы не можем с легкостью приложить свою конструкторскую интуицию, чтобы улучшить его внутреннее устройство… Если мы искусственно развиваем умный ИИ, это будет чуждый нам интеллект, определяемый своими сенсорными интерфейсами, и понимание его внутреннего устройства может потребовать не меньше усилий, чем мы сейчас тратим на объяснение человеческого мозга. Учитывая, что компьютерные программы могут эволюционировать намного быстрее, чем размножаются биологические существа, маловероятно, что мы станем тратить время на обратное проектирование этих промежуточных точек, тем более что мы почти ничего не смогли бы сделать с этим знанием. Мы пустим процесс улучшения на самотек.