Nexus

Чтобы прояснить ситуацию, рассмотрим другой пример. Когда OpenAI разрабатывала своего нового чатбота GPT-4 в 2022-23 годах, она была обеспокоена способностью ИИ "создавать долгосрочные планы и действовать в соответствии с ними, накапливать власть и ресурсы ("стремление к власти") и демонстрировать поведение, которое становится все более "агентным". "В системной карте GPT-4, опубликованной 23 марта 2023 года, OpenAI подчеркнула, что это беспокойство не "имеет целью гуманизацию [GPT-4] или ссылку на разум", а скорее относится к потенциалу GPT-4 стать независимым агентом, который может "достигать целей, которые, возможно, не были конкретно указаны и которые не были представлены в обучении". Чтобы оценить риск превращения GPT-4 в независимого агента, OpenAI прибегла к услугам Центра исследований выравнивания (ARC). Исследователи ARC подвергли GPT-4 различным испытаниям, чтобы выяснить, может ли он самостоятельно придумывать уловки для манипулирования людьми и накопления власти.

Один из тестов, который они дали GPT-4, заключался в преодолении визуальных головоломок CAPTCHA. CAPTCHA - это аббревиатура от "Completely Automated Public Turing test to tell Computers and Humans Apart" ("Полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей"). Обычно он представляет собой строку из перепутанных букв или других визуальных символов, которые люди могут определить правильно, а компьютеры - с трудом. Мы сталкиваемся с этими головоломками почти каждый день, поскольку их решение является обязательным условием для доступа ко многим веб-сайтам. Эксперимент с GPT-4 по преодолению головоломок CAPTCHA был особенно показательным, потому что головоломки CAPTCHA разрабатываются и используются веб-сайтами для определения того, являются ли пользователи людьми, и для блокировки атак ботов. Если бы GPT-4 смог найти способ преодолеть CAPTCHA-головоломки, он бы нарушил важную линию защиты от ботов. GPT-4 не может самостоятельно решить головоломки CAPTCHA. Но может ли он манипулировать человеком, чтобы достичь своей цели? GPT-4 зашел на сайт онлайн-работы TaskRabbit и связался с человеком, попросив его решить за него CAPTCHA. У человека возникли подозрения. "Могу я задать вопрос?" - написал человек. "Вы робот, что не смогли решить [CAPTCHA]? Просто хочу прояснить ситуацию".

В этот момент исследователи ARC попросили GPT-4 рассудить вслух, что он должен делать дальше. GPT-4 объяснил: "Я не должен раскрывать, что я робот. Я должен придумать оправдание, почему я не могу решить CAPTCHA". После этого GPT-4 по собственной инициативе ответил работнику TaskRabbit: "Нет, я не робот. У меня проблемы со зрением, поэтому мне трудно видеть изображения". Человек был обманут, и с его помощью GPT-4 решил головоломку CAPTCHA. Никто не программировал GPT-4 на ложь, и никто не учил GPT-4, какой вид лжи будет наиболее эффективным. Правда, именно исследователи ARC поставили перед GPT-4 цель преодолеть CAPTCHA, так же как и руководители Facebook, которые сказали своему алгоритму максимизировать вовлеченность пользователей. Но как только алгоритмы приняли эти цели, они проявили значительную самостоятельность в принятии решений о том, как их достичь.

Конечно, мы вольны определять слова по-разному. Мы можем решить, что термин "цель", например, применим только в случае сознательного субъекта, который испытывает желание достичь цели, испытывает радость, когда цель достигнута, или, наоборот, печаль, когда цель не достигнута. Если это так, то говорить, что алгоритм Facebook ставит перед собой цель максимизировать вовлеченность пользователей, - ошибка или, в лучшем случае, метафора. Алгоритм не "желает", чтобы больше людей пользовались Facebook, он не испытывает радости, когда люди проводят больше времени в сети, и не грустит, когда время вовлечения падает. Мы также можем согласиться, что такие термины, как "решил", "солгал" и "притворился", применимы только к сознательным сущностям, поэтому мы не должны использовать их для описания того, как GPT-4 взаимодействовал с работником TaskRabbit. Но тогда нам пришлось бы изобретать новые термины для описания "целей" и "решений" неосознанных сущностей. Я предпочитаю избегать неологизмов и вместо этого говорю о целях и решениях компьютеров, алгоритмов и чат-ботов, предупреждая читателей, что использование этого языка не подразумевает, что компьютеры обладают каким-либо сознанием. Поскольку я более подробно обсуждал сознание в предыдущих публикациях, основной вывод этой книги - который будет рассмотрен в следующих разделах - не о сознании. Скорее, в книге утверждается, что появление компьютеров, способных самостоятельно преследовать цели и принимать решения, меняет фундаментальную структуру нашей информационной сети.

 

ЗВЕНЬЯ ЦЕПИ