Прежде чем говорить о нейробиологии подкрепления, важно определить, что мы называем подкреплением. Это не единый процесс, а сеть, составленная из трех отдельных компонентов. Первый компонент – то, что мы чаще всего связываем с поощрением: чувственное удовольствие, которое можно описать словом «нравится». Второй – желание, мотивация к подкреплению. Третий – обучение, включающее в себя ассоциации, представления и предсказания о прошлых подкреплениях – на них основывается предвкушение подкреплений будущих. Часть подкрепления, связанная с обучением, реализуется двумя областями мозга, о которых мы уже много говорили: гиппокампом и мозжечковой миндалиной. Как мы узнали в главе 2, гиппокамп играет важную роль в формировании новых ассоциаций, а мозжечковая миндалина откладывает эмоциональные воспоминания, включая и те, что связаны с опытом получения сильного удовольствия. Вводное описание помогает нам представить хотя бы приблизительно, насколько сложны, взаимозависимы и взаимосвязаны гиппокамп и мозжечковая миндалина и насколько важный вклад они вносят в самые разные типы мозговых вычислений.
А как насчет отделов мозга связанных с пристрастиями («нравится») и желаниями? В 1960-е годы в Университете Макгилла провели исследования ученые Джеймс Олдс и Питер Милнер (бывший муж Бренды Милнер, прославившейся благодаря Г. М.). Они первыми обнаружили в мозгу то, что получило название центров удовольствия, или центров подкрепления. Вообще-то этот ученый дуэт занимался поисками в крысином мозгу таких областей, которые при стимуляции заставляли бы крыс прекратить всякие действия, связанные с этой стимуляцией. Но вместо этого они наткнулись на обратное явление: области мозга, которые при стимуляции заставляли крысу продолжать делать то, что она делала в момент начала стимуляции. Олдс и Милнер провели так называемые эксперименты с самостимуляцией и обнаружили интересную вещь: если позволить крысам самостоятельно передавать сигнал на электроды, имплантированные в их специфические области мозга, то животные будут исступленно стимулировать себя тысячи раз и даже откажутся от пищи, чтобы продолжать это приятное занятие. Благодаря таким экспериментам были установлены некоторые из областей мозга, важные для подкрепления и удовольствия. Базовый контур подкрепления включает в себя отдел мозга, который участвует в восприятии стимулов подкрепления и реакции на них. Это так называемая вентральная область покрышки. Она располагается в центральной части мозга и содержит нейроны, производящие дофамин, самый важный нейротрансмиттер для восприятия поощрения или удовольствия. Клетки, расположенные в вентральной области покрышки и вырабатывающие дофамин (или дофаминергические), проецируются на две важные области контура подкрепления: прилежащее ядро и части префронтальной коры.
Результаты тех ранних исследований Олдса и Милнера интерпретировались как обнаружение в мозгу центров удовольствия. Однако позже ученые усомнились в этом: было неясно, являлись эти центры центрами удовольствия («нравится») или желания («хочу»). Выработка дофамина в вентральной области покрышки фиксируется в обоих случаях. Более того, в ходе недавних работ в этой области нейробиологии удалось выработать подходы к различению удовольствия и желания. Результаты указывают: в этих двух состояниях используются разные части одного и того же контура подкрепления.