Три пути ведут к знанию: путь размышления — самый благородный, путь подражания — самый легкий, и путь опыта — самый горький.
Наблюдения Конфуция относятся к познанию как социального мира, так и физического. Касаются они и формирования совести, начиная с раннего детства и до конца жизни, и отработки ударов в гольфе, и оттачивания хирургических приемов. Заметим, однако, что в своем суждении Конфуций ни словом не обмолвился о положительных сторонах познания на опыте. В этой недомолвке, возможно, отражена общая черта наших автобиографических воспоминаний. Размышляя о том, чему мы научились на опыте, мы склонны припоминать прежде всего неудачи, неверные шаги, промахи, неловкие ситуации. Тем не менее положительное подкрепление — важная сторона обучения на опыте, особенно для усвоения норм и повседневного поведения, принятого в нашей социальной среде. Общественное одобрение, включение в группу, общий смех — все это ощутимые награды[98].
Обучение, подкрепленное вознаграждением, прочно завязано на тревоге или удовлетворении. Собака, например, обнаруживает дискомфорт, если от нее требуют нарушить крепко усвоенный запрет. Я узнала об этом еще в детстве. Наш пастуший пес Ник был приучен заходить в дом не дальше кухни. Когда ему было года три, я как-то раз осталась дома одна и, маясь от безделья, решила проверить, получится ли уговорить его зайти в гостиную. Встав за воображаемым порогом комнаты, я позвала Ника и начала убеждать, что ничего страшного, сейчас можно, никто не будет ругать. Он смотрел на меня исподлобья, поджав хвост. Он был в растерянности. И все-таки, как я ни уговаривала, он не поддался. Тогда я повысила ставки, подманивая его куском колбасы. Ник совсем сконфузился, опустил голову, но ко мне не двинулся. Попятился, развернулся и вышел из дома. Теперь настала моя очередь стыдиться — мне стало совестно, что я подбивала его сделать то, что ему запрещали.
Хотя давно известно, что обучение посредством подкрепления — это эффективный метод для формирования нужного поведения, механизмы этого воздействия до недавнего времени оставались скрытыми в нейронных структурах мозга. Каким образом обучение способствует преодолению инстинктов и сильных желаний? Как удается с его помощью выработать поведенческие навыки, не предусмотренные эволюционным развитием, такие как вождение машины?
Среди поразительных событий в нейронауке в последние три десятилетия — последовательное открытие механизмов обучения с помощью вознаграждения (или обучения с подкреплением). Судя по всему, те же самые механизмы действуют и при усвоении социальных и внесоциальных норм: как вести себя, когда заседаешь в жюри присяжных, как поменять колесо у машины, как предложить помощь оказавшемуся в затруднительном положении, как поставить на ровный киль перевернувшуюся байдарку. В игру могут вступать самые разные фоновые навыки и воспоминания, однако механизмы вознаграждения одни и те же.
Ключевую роль в обучении с подкреплением у млекопитающих играют гомологи тех нейронных структур, которые возникли задолго до появления не только мозга млекопитающих, но и рептильного. В основе — первобытные механизмы с их древней структурой и древним способом функционирования[99]. Они контролируют базовые функции выживания, включая питание, спаривание и избегание хищников. Они позволяют научиться отыскивать надежные источники корма и при необходимости менять способы добывания пищи. У млекопитающих эти нейронные сети расположены в среднем мозге и скоординированы с комплексом структур под названием «базальные ядра»[100] (илл. 3.1). Кора головного мозга, особенно ее лобные доли, взаимодействует с базальными ядрами, расширяя и модифицируя радиус своего действия, и тем самым обеспечивает высокоуровневое управление.
Плотно связанные с корой гиппокампальные структуры отвечают за запоминание конкретных событий и особенностей людей (дядя Хэмиш раздражителен, тетя Марта рассказывает пошлые анекдоты). При участии гиппокампа повседневные события, воспринимаемые как достойные запоминания, собираются в хранилище фоновых знаний, тем самым расширяя способности ориентироваться в окружающем мире.