Мозг и душа: как нервная деятельность формирует наш внутренний мир

К одному из таких типов относятся очень важные клетки выделяющие нейромедиатор допамин. Эти клетки часто называют клетками награды (reward cells), потому что их активность увеличивается после того, как животное получает пищу или питье. Крыса будет охотно нажимать на рычажок, вызывающий стимуляцию этих клеток, и предпочтет эту стимуляцию даже еде или сексу. Это так называемая самостимуляция.[98]

Вольфрам Шульц отслеживал активность этих клеток в эксперименте на формирование условного рефлекса и обнаружил, что на самом деле это не клетки награды. В этом эксперименте через одну секунду после постороннего, как и в опытах Павлова, сигнала (световой вспышки) обезьяне в рот впрыскивали порцию фруктового сока. Вначале допаминовые нервные клетки играли роль клеток награды, реагируя на поступление сока, но по окончании обучения они перестали активироваться в момент вспрыскивания сока. Вместо этого они теперь активировались сразу после того, как обезьяна видела вспышку, за секунду до поступления сока. Судя по всему, возбуждение допаминовых клеток служило сигналом того, что скоро должен быть получен сок. Они не реагировали на награду, а предсказывали ее получение.

Связь работы этих клеток с предсказанием проявлялась еще нагляднее, когда обезьяна видела вспышку, но сока после этого не получала. В тот момент, когда должен был поступить сок, активность допаминовых нервных клеток снижалась. Мозг обезьяны предсказывал, когда именно можно ожидать награды в виде сока, и снижение активности допаминовых клеток сигнализировало, что награда не получена.

Рис. 4.4. Активность допаминовых нейронов отражает ошибку в предсказании награды.

Обезьян обучали ассоциировать световую вспышку (сигнал) с фруктовым соком, вспрыскиваемым в рот через секунду (награда), измеряя при этом активность допаминовых нейронов.

(a) Сигнала не поступало, и обезьяна не знала, когда получит награду. Непредвиденная награда вызывает повышение активности.

(b) Обезьяна знала, когда получит награду. Получение награды не вызывает изменений активности. Но обезьяна не знала, когда поступит сигнал. Непредвиденный сигнал, предвещающий награду, вызывает повышение активности.

(c) Обезьяна ожидала получения награды, но не получила ее. Отсутствие предвиденной награды вызывает снижение активности. 

Как мы учимся на своих ошибках

Активность этих клеток не служит сигналом награды. Не служит она и сигналом того, что награда скоро будет получена. Активность этих клеток сообщает нам об ошибке в нашем предсказании награды. Если сок поступает тогда, когда мы ожидаем его поступления, значит, никакой ошибки в нашем предсказании нет, и допаминовые клетки не посылают сигнала. Если сок поступает неожиданно, значит, награда превзошла наши ожидания, и эти клетки посылают положительный сигнал. Если же сок не поступает, когда мы его ожидаем, значит, награда не оправдала наших ожиданий, и допаминовые клетки посылают отрицательный сигнал. Эти сигналы, сообщающие нам об ошибках в наших собственных предсказаниях, позволяют нам изучать окружающий мир, не нуждаясь в учителе. Если наши предсказания о чем-то в окружающем мире ошибочны, это означает, что нам нужно что-то сделать, чтобы улучшить качество своих предсказаний.

Еще до того, как выяснилось, что активность допаминовых нервных клеток служит сигналом ошибки в наших предсказаниях, математики разработали алгоритмы, позволяющие машинам обучаться похожим способом.