Co-Intelligence: Living and Working with AI

И вы не сможете выяснить, почему ИИ генерирует галлюцинации, спросив его об этом. Он не осознает свои собственные процессы. Поэтому, если вы попросите его объяснить себя, ИИ вроде бы даст вам правильный ответ, но он не будет иметь ничего общего с процессом, который породил исходный результат. Система не может объяснить свои решения и даже не знает, что это были за решения. Вместо этого она (как вы уже догадались) просто генерирует текст, который, по ее мнению, порадует вас в ответ на ваш запрос. LLM, как правило, не оптимизированы для того, чтобы говорить "я не знаю", когда у них недостаточно информации. Вместо этого они дадут вам ответ, выражающий уверенность.

Один из самых известных ранних примеров галлюцинаций в LLM произошел в 2023 году, когда юрист по имени Стивен А. Шварц использовал ChatGPT для подготовки юридической записки по иску о нанесении телесных повреждений авиакомпании. Шварц использовал ChatGPT для изучения судебных документов; ИИ привел шесть поддельных дел. Затем он представил эти дела суду как реальные прецеденты, не проверив их подлинность или точность.

Фальшивые дела были обнаружены адвокатами защиты, которые не смогли найти никаких записей о них в юридических базах данных. Тогда они сообщили об этом судье, который потребовал от Шварца объяснить, откуда он взял информацию. Шварц признал, что использовал ChatGPT для создания дел и что у него не было намерения обмануть суд или действовать недобросовестно. Он утверждал, что не знал о природе и ограничениях ChatGPT и что узнал о нем от своих детей, обучающихся в колледже.

Судью, П. Кевина Кастела, не убедили объяснения Шварца. Он постановил, что Шварц действовал недобросовестно и ввел суд в заблуждение, предоставив ложную и ничем не подкрепленную информацию. Он также установил, что Шварц проигнорировал несколько тревожных сигналов, которые должны были предупредить его о том, что дела были поддельными, например, их нелепые названия, даты и ссылки. Он наложил совместный штраф в размере 5 000 долларов на Шварца и его соадвоката Питера ЛоДуку, который взял на себя ведение дела, когда оно перешло в другую юрисдикцию. Он также приказал им обратиться к судьям, упомянутым в фальшивых делах, с информацией о сложившейся ситуации.

Эти три предыдущих абзаца, кстати, были написаны версией GPT-4 с подключением к Интернету. И они почти правы. Согласно новостям, было более шести фальшивых дел; ЛоДука не брал на себя дело, а просто прикрывал Шварца; и часть причины штрафа заключалась в том, что адвокаты удвоили количество фальшивых дел, намного превысив свою первоначальную ошибку. Эти мелкие галлюцинации трудно уловить, потому что они совершенно правдоподобны. Я смог заметить эти проблемы только после чрезвычайно внимательного прочтения и исследования каждого факта и предложения в выходных данных. Возможно, я все еще что-то упустил (извините, кто проверяет факты в этой главе). Но именно это и делает галлюцинации такими опасными: проблемы могут возникнуть не из-за больших проблем, которые вы улавливаете, а из-за маленьких, которые вы не замечаете.

Исследователи ИИ неоднозначно относятся к тому, когда эти проблемы будут решены и будут ли вообще. Есть некоторые основания надеяться. По мере совершенствования моделей количество галлюцинаций со временем снижается. Например, исследование количества галлюцинаций и ошибок в цитатах, выдаваемых ИИ, показало, что GPT-3.5 допускал ошибки в 98 % случаев, а GPT-4 галлюцинировал лишь в 20 % случаев. Кроме того, технические уловки, такие как , дающие ИИ клавишу "backspace", чтобы он мог исправлять и удалять свои собственные ошибки, похоже, повышают точность. Так что, хотя эта проблема, возможно, никогда не исчезнет, она, скорее всего, улучшится. Помните принцип 4: "Предположите, что это худший ИИ, который вы когда-либо будете использовать". Уже сегодня, имея определенный опыт, пользователи могут узнать, как избежать принуждения ИИ к галлюцинациям и когда необходима тщательная проверка фактов. А более активное обсуждение этого вопроса не позволит пользователям вроде Шварца полностью полагаться на ответы, сгенерированные LLM. Тем не менее мы должны быть реалистами в отношении главного недостатка, который означает, что ИИ не может быть легко использован для критически важных задач, требующих точности и аккуратности.

Галлюцинации позволяют ИИ находить новые связи вне точного контекста обучающих данных. Это также часть того, как он может выполнять задачи, которым его явно не обучали: , например, создать предложение о слоне, который ест тушеное мясо на Луне, где каждое слово должно начинаться с гласной. (ИИ придумал: "Слон ест луковый хвост на внешней орбите".) Это парадокс креативности ИИ. Та же особенность, которая делает LLM ненадежными и опасными для фактической работы, также делает их полезными. Настоящий вопрос заключается в том, как использовать ИИ, чтобы воспользоваться его сильными сторонами и в то же время избежать его слабых сторон. Для этого давайте рассмотрим, как ИИ "мыслит" творчески.

Автоматическое творчество