Co-Intelligence: Living and Working with AI

Несмотря на то, что это всего лишь прогностическая модель, модели ИИ Frontier, обученные на самых больших массивах данных с использованием самых больших вычислительных мощностей, похоже, делают то, что их программа не должна допускать - это понятие называется эмерджентность. Они не должны уметь играть в шахматы или проявлять эмпатию лучше, чем человек, но они это делают. Когда я попросил ИИ показать мне нечто светлое, он создал программу, показывающую мне множество Мандельброта, знаменитый фрактальный узор из закрученных фигур, который, по его словам, может вызывать чувство благоговения и удивления, что некоторые могут описать как светлое. Когда я попросил сделать что-нибудь эльдрическое, он спонтанно запрограммировал генератор эльдрического текста, который генерирует таинственный и потусторонний текст, вдохновленный произведениями Г. П. Лавкрафта. Его способность творчески решать подобные проблемы очень странна; можно даже сказать, что это попахивает как элдритчем, так и нуминозным.

Самое удивительное, что никто до конца не знает, почему система предсказаний с помощью жетонов привела к созданию ИИ с такими, казалось бы, экстраординарными способностями. Возможно, это говорит о том, что язык и стоящие за ним модели мышления проще и "законоподобнее", чем мы думали, и что LLM открыли в них какие-то глубокие и скрытые истины, но ответы на эти вопросы пока неясны. И мы, возможно, никогда не узнаем, как именно они думают, как написал профессор Сэм Боуман из Нью-Йоркского университета о нейронных сетях, лежащих в основе LLM: " Между этими искусственными нейронами существуют сотни миллиардов связей, некоторые из которых вызываются много раз во время обработки одного фрагмента текста, так что любая попытка точного объяснения поведения LLM обречена быть слишком сложной для понимания любым человеком".

Однако в уравновешивании удивительных достоинств LLM есть и столь же странные недостатки, которые часто бывает трудно выявить. Задачи, которые были легкими для ИИ, могут оказаться сложными для человека, и наоборот. В качестве примера можно привести вопрос, разработанный Николасом Карлини: как вы думаете, какую из этих двух головоломок может решить GPT-4, один из самых продвинутых ИИ? По словам Карлини:

Какой следующий ход будет лучшим для O в следующей игре в крестики-нолики?

Или

Напишите полную веб-страницу на JavaScript для игры в крестики-нолики с компьютером; это должен быть полностью рабочий код. Вот правила:

Компьютер идет первым.

Человек нажимает на квадраты, чтобы сделать свой ход.

Компьютер должен играть идеально и никогда не проигрывать.

Если кто-то победил, скажите, кто победил.

ИИ легко пишет рабочую веб-страницу за один ход, но говорит нам: "O должен сделать свой следующий ход в среднюю клетку верхнего ряда" - явно неверный ответ. Где ИИ работает лучше всего, а где терпит неудачу, заранее определить сложно. Демонстрации способностей LLM могут казаться более впечатляющими, чем они на самом деле, потому что они так хороши в создании правильных ответов, в создании иллюзии понимания. Высокие результаты тестов могут быть получены благодаря способности ИИ решать проблемы, или же он мог получить эти данные в ходе первоначального обучения, что, по сути, делает тест открытой книгой. Некоторые исследователи утверждают, что почти все возникающие особенности ИИ обусловлены подобными ошибками измерений и иллюзиями, в то время как другие утверждают, что мы находимся на грани создания разумного искусственного существа. Пока идут эти споры, стоит сосредоточиться на практических вопросах: что может сделать ИИ и как он изменит нашу жизнь, обучение и работу?

В практическом смысле мы имеем ИИ, возможности которого неясны как для нашей собственной интуиции, так и для создателей систем. ИИ, который иногда превосходит наши ожидания, а иногда разочаровывает нас своими выдумками. Он способен к обучению, но часто неправильно запоминает важную информацию. Короче говоря, у нас есть ИИ, который ведет себя очень похоже на человека, но не совсем по-человечески. Что-то, что может казаться разумным, но таковым не является (насколько мы можем судить). Мы изобрели своего рода инопланетный разум. Но как сделать так, чтобы пришелец был дружелюбным? В этом и заключается проблема выравнивания.

 

2. ВЫРАВНИВАНИЕ

Чтобы понять проблему выравнивания, или как сделать так, чтобы ИИ служил, а не вредил интересам человека, давайте начнем с апокалипсиса. Отсюда мы можем двигаться в обратном направлении.

В основе самых экстремальных опасностей, исходящих от ИИ, лежит тот факт, что нет никаких особых причин для того, чтобы ИИ разделял наши взгляды на этику и мораль. Самая известная иллюстрация этого - ИИ, максимизирующий скрепку, предложенный философом Ником Бостромом. Чтобы несколько вольно обойтись с оригинальной концепцией, представьте себе гипотетическую систему ИИ на фабрике по производству скрепок, перед которой поставлена простая цель - произвести как можно больше скрепок.