Еще одна тонкость обнаруживается при исследовании самих дофаминовых рецепторов. В прилежащем ядре содержится по крайней мере два их типа — D1 и D2.
Илл. 3.4. Упрощенная схема устройства синапса, демонстрирующая механизм выделения нейромедиатора (в данном случае дофамина).
Вкратце колебания частоты импульсов в ВОП, как в том случае, когда животное получает приятную награду, вызывают колебания в выделении дофамина в прилежащем ядре. Эти колебания влияют на принятие решений: «Да, действуй!» или «Ну его, не утруждайся». Базальные ядра млекопитающих — и прилежащее ядро в том числе — соединены замысловатыми связями с определенными областями фронтальных участков коры. Кроме того, нейроны ВОП шлют напрямую широко распределенные дофаминовые сигналы нейронам фронтальной коры. Судя по всему, в одной из областей-адресатов, орбитофронтальной коре, происходит уточнение оценки событий в соответствии с дофаминовыми сигналами[113]. Существуют также нейронные связи, ведущие из фронтальной коры обратно к базальным ядрам и среднему мозгу. Тем не менее вычислить «собеседников» еще не значит установить содержание их сообщений. Этого мы не знаем. Но идентификация путей — принципиально важный шаг к тому, чтобы разобраться в устройстве наших нейронных механизмов.
До сих пор речь шла о положительном подкреплении или его отсутствии. А что происходит, если опыт оказывается болезненным (назовем его по аналогии «отрицательным подкреплением»)? Допустим, вы, не сбавляя хода, заворачиваете на велосипеде на гравийную дорожку, вас заносит, и вы падаете. Колени и руки ободраны до крови. Ожидания катастрофически не оправдались. В следующий раз вы либо не будете сворачивать на гравий, либо сбросите скорость, то есть в любом случае проявите осторожность. Кнут вместо пряника? Похоже на то.
Чувствительные к наказанию нейроны усиливают активность, когда результат оказывается значительно хуже предполагаемого, и ослабляют ее, когда результат превышает ожидания. Урок, усвоенный моим мозгом: не поворачивать на гравий на полном ходу. Как удалось выяснить сотрудникам Национального глазного института — Окихиде Хикосаке и его коллегам, — чувствительные к наказанию нейроны располагаются в небольшой структуре мозга под названием «поводок». От поводка пролегает нейронный путь в ствол мозга, к вентральной области покрышки, и там его главная функция состоит в том, чтобы тормозить нейроны ВОП и подавлять двигательную реакцию, которую нейроны поводка сочтут вредной. «Пожалуй, так делать не надо», — сообщают они. Если нейроны ВОП выделяют дофамин, то нейроны поводка выделяют серотонин[114].
Суть нейронной активности ВОП можно описать и по-другому: она дает оценку предстоящему событию — например, насколько хорошо то, что должно случиться вскоре после вспышки света, стоит ли стремиться к этому, рисковать, гнаться за этим. Таким образом связываются обучение и принятие решений. Чем шире и глубже сенсорное восприятие окружающего мира, доступное базальным ядрам, тем сложнее оценка того, что можно ожидать и как оптимизировать благоприятные возможности. В социальном контексте мозг усваивает социальные ценности. Мы встречаем неодобрение, когда жульничаем, и одобрение, когда терпеливо ждем своей очереди. Одобрение приносит мозгу крупную награду (прилив дофамина). Неодобрение вызывает прилив серотонина. В первом приближении это и есть механизм формирования нашей совести.
Похоже, ошибка в предсказании награды была одной из тех отправных точек, о которых говорил Крик. Программирование сигнала об ошибке в прогнозе вознаграждения представляется принципиально важной составляющей любого обучения с подкреплением, не только классического условного рефлекса. Дальнейшие шаги в исследовании механизмов обучения у млекопитающих можно будет сделать, если выяснится, что базовый механизм объединен с усовершенствованиями и расширениями в неокортексе, которые прольют свет на более сложные виды обучения с подкреплением, чем банальное павловское обусловливание, — то есть если нейроны в ВОП и базальных ядрах аккуратно встроены в сети, развившиеся в ходе эволюции в коре и гиппокампе. И — о чудо! — так оно и есть. У всех млекопитающих базальные ядра соединены с корой множеством разветвленных связей.