От «Энигмы» до ChatGPT

Кажется, если мы сможем ответить на вопрос, что такое интеллект, то и создать искусственный интеллект не будет проблемой. Ближе всего к этому подобрались Эндрю Барто и Ричард Саттон. В 1998 году они издали книгу «Обучение с подкреплением», в которой формализовали принципы этого подхода. Мы предлагаем применять немного иной термин — «обучение с “сильной” петлей обратной связи».

Любой учитель скажет, что несложно выдать задачи ученикам для самостоятельной отработки, да и проверить любой объем тоже не станет серьезной неприятностью при обучении чему-либо. Проблема возникает в момент, когда необходимо предоставить обратную связь и скорректировать будущие действия. Форма и формат обратной связи от учителя к ученику — одно из узких мест системы обучения. Барто и Саттон пытаются решить проблему интеллекта через «сильную» петлю обратной связи, обучая исполнителя, действующего в определенных условиях, взаимодействовать со средой.

В самом широком смысле средой может быть что угодно. Для трейдера, торгующего на рынке, это график котировок. Учительская среда — класс с учениками. Исследователю для успешной публикации нужна среда научных работ. Писатель учится рисовать миры в безграничной среде своего воображения. Средой игрока в шахматы, го, шашки, нарды становятся поле и фигуры.

Цель очевидна: исполнитель взаимодействует со средой, а та предоставляет обратную связь — то, что можно увидеть или прочувствовать. Однако существует один особый вид обратной связи, который и делает из нее «сильную»: вознаграждение. Чем оно выше в ходе действия, тем корректнее принятое решение.

Отдельно стоит отметить, что в нашем случае не идет речи о теории вознаграждения, скорее о математическом расчете. Трейдеру для принятия решений нужно точно понимать отношение между риском, доходностью и убыточностью сделки. Учителю в школе — «силу» группы и способ обучения. Ученому — возможно, понимание усилий для написания и актуальность темы. Игроку в го — рассчитать ход, который увеличит вероятность победы.

Подобная модель взаимодействия с окружающей средой превосходно переносится на повседневную жизнь. Когда вы проголодались, то обычно решаете разогреть обед, и даже это простое действие имеет сложную модель принимаемых решений и действий — с задачами, подзадачами, которые вместе делают из простого «разогреть обед» сложный процесс:

• Открыть холодильник.

• Достать из холодильника контейнер со вчерашним пловом.

• Найти на полке нужный контейнер.

• Протянуть руку и вынуть его.

Другой набор сложных взаимодействий связан с подготовкой тарелки, вилки и разогрева. Каждое действие требует поиска объекта, создания целенаправленного движения тела. На ходу принимаются моментальные решения о том, что в какую руку брать, как нести — по отдельности или всё вместе. Каждый шаг подзадачи регулируется целью и выступает подкреплением и основанием для следующего действия, чтобы избавиться от чувства голода. Мы не говорим о том, какую роль в этом процессе играет тело, которое регулирует необходимость утолить чувство голода и определяет предпочтения в еде.

Решения принимаются в зависимости от вероятности получения награды в результате действия. Очевидно, что никто не выберет такую последовательность для утоления голода: взять в руки телефон, полистать ленту социальной сети, выключить телефон.

Гроссмейстер поступает аналогично, принимает решение о следующем ходе в соответствии с тем, как он представляет себе ожидаемое ответное действие оппонента и его реакции. Полагается он при этом на моментальное, интуитивное ощущение ситуации, желаемого итога, который может получиться в результате отдельного перемещения фигуры или серии ходов.

Ребенок впервые встает на ноги, опираясь на предметы, балансирует недалеко от того, что может помочь ему избежать падения, пытается сделать первые шаги, понимая, что ходить лучше, чем когда тебя переносят из одного место в другое. Наградой за многократные падения станет возможность перемещаться самостоятельно.

Так и происходит естественное обучение: природа учит через взаимодействия с объектами среды, подталкивает проверить пределы доступного. Как это ни удивительно, такой же подход лежит в основе многих теорий обучения и развития интеллекта.

Стоит поднять вопрос, почему современные образовательные учреждения не используют подход, при котором обучение происходит в процессе органичного взаимодействия со средой. Учителя впервые видят детей во время практики, а это четвертый курс. Финансисты работают с деньгами только после того, как окончили университет, — и это если повезет. Почему бы не сделать обратный цикл, когда обучаешься во взаимодействии? Мы согласны, что подобный вариант не подходит в тех областях, в которых действия сопряжены с риском и здоровьем, например в медицине. Проблема в том, что подобное не практикуется и там, где можно позволить себе некоторые «вольности».