Co-Intelligence: Living and Working with AI

Из-за разнообразия используемых источников данных обучение не всегда является хорошим делом. ИИ также может усвоить предвзятость, ошибки и ложь из данных, которые он видит. Кроме того, в процессе предварительного обучения ИИ не всегда выдает те результаты, которые люди ожидают получить в ответ на подсказку. И, что еще хуже, у него нет этических границ, и он с радостью даст совет , как присвоить деньги, совершить убийство или преследовать кого-то в Интернете. LLM в этом режиме предварительного обучения просто отражают, как зеркало, то, на чем их обучали, не применяя никаких суждений. Таким образом, после обучения на всех текстовых примерах в режиме предварительного обучения многие LLM подвергаются дальнейшему совершенствованию на втором этапе, называемом тонкой настройкой.

Одним из важных подходов к тонкой настройке является привлечение людей к процессу, который ранее был в основном автоматизирован. Компании, занимающиеся разработкой ИИ, нанимают работников - одних высокооплачиваемых экспертов, других низкооплачиваемых контрактников в англоязычных странах, таких как Кения, - для чтения ответов ИИ и оценки их по различным характеристикам. В одних случаях это может быть оценка результатов на предмет точности, в других - отсеивание ответов, содержащих насилие или порнографию. Эта обратная связь затем используется для дополнительного обучения, подстраивая работу ИИ под предпочтения человека, обеспечивая дополнительное обучение, которое усиливает хорошие ответы и уменьшает плохие, поэтому этот процесс называется Reinforcement Learning from Human Feedback (RLHF).

После того как ИИ прошел начальную фазу обучения с подкреплением, его можно продолжать дорабатывать и корректировать. Такой тип тонкой настройки обычно осуществляется путем предоставления более конкретных примеров для создания новой усовершенствованной модели. Эта информация может быть предоставлена конкретным клиентом, который пытается приспособить модель к своему случаю использования, например, компания предоставляет ей примеры стенограмм обращений в службу поддержки клиентов с хорошими ответами. Или же информация может быть получена в результате наблюдения за тем, какие ответы получают "большие пальцы вверх" или "большие пальцы вниз" от пользователей. Такая дополнительная настройка может сделать ответы модели более специфичными для конкретной потребности.

Когда мы будем обсуждать ИИ в этой книге, мы в основном будем говорить о больших языковых моделях, построенных таким образом, но это не единственный вид "генеративного ИИ", который вызывает трансформации и изменения. В тот же год, когда ChatGPT совершил свой прорыв, на рынке появился отдельный набор ИИ, предназначенных для создания изображений, с такими названиями, как Midjourney и DALL-E. Эти ИИ-инструменты могут создавать высококачественные изображения по подсказкам пользователей, подражая стилю известных художников ("нарисуйте Микки-Мауса в стиле Ван Гога") или создавая ультрареалистичные фотографии, неотличимые от реальных.

Как и LLM, эти инструменты разрабатывались в течение многих лет, но только недавно технология позволила им стать по-настоящему полезными. Эти модели обучаются не на основе текста, а путем анализа большого количества изображений в паре с соответствующими текстовыми подписями, описывающими, что изображено на каждой картинке. Модель учится ассоциировать слова с визуальными понятиями. Затем они начинают со случайного фонового изображения, которое выглядит как старомодный телевизионный статический сигнал, и используют процесс, называемый диффузией, чтобы превратить случайный шум в четкое изображение, постепенно улучшая его в течение нескольких шагов. На каждом этапе удаляется еще немного шума на основе текстового описания, пока не получится реалистичное изображение. После обучения диффузионные модели могут брать только текстовую подсказку и генерировать уникальное изображение, соответствующее этому описанию. В отличие от языковых моделей, которые выдают текст, диффузионные модели специализируются на визуальных результатах, придумывая изображения с нуля на основе предоставленных слов.