Илл. 3.1. Упрощенная схема, демонстрирующая главные составляющие и связи системы вознаграждения в человеческом мозге. Вид от срединной линии мозга, показано только одно (левое) полушарие. Связи между подкорковыми ядрами, а также между этими ядрами и префронтальной корой в действительности очень многочисленны, но на схеме они представлены одиночным нейроном для каждого из главных путей. Концевые участки аксонов (терминали) изображены в виде разветвления. Проводящие пути показаны разными видами линий в зависимости от выделяемого нейрохимического вещества: пунктирная соответствует возбуждающему нейромедиатору глутамату, жирная черная — тормозному медиатору ГАМК (гамма-аминомасляная кислота), а жирная серая — дофамину, нейромодулятору, играющему ключевую роль в обучении с подкреплением. Области прилежащего ядра и вентрального паллидума, заштрихованные сплошными горизонтальными линиями, — это «горячие точки» наслаждения, содержащие опиоидные и каннабиноидные рецепторы, их стимуляция подкрепляет реакцию предпочтения. Области, заштрихованные пунктиром, — это «холодные точки» наслаждения, где реакции предпочтения подавляются. Гипоталамус на схеме отсутствует, поскольку его загораживает вентральный паллидум.
Чем больше кора по отношению к базальным ядрам, тем более масштабным и сложным будет обучение на опыте. Чем больше кора, тем выше способность воспринимать абстрактные модели устройства мира, обращаться к этим моделям при необходимости и обновлять их по мере получения нового опыта.
У млекопитающих с крупным мозгом, включая и нас, намеченная цель может отодвигаться довольно далеко в будущее. Процесс достижения подобной цели разбивается на множество промежуточных шагов[101]. Представьте, сколько таких шагов подразумевает строительство дома или удаление воспалившегося аппендикса. Для достижения многих целей необходимо выстроить четкую последовательность необходимых действий, особенно подразумевающих участие других умных животных. Что именно будет предпринято, зависит в том числе и от непредвиденных обстоятельств, когда нам приходится решать, как поступить, если вдруг случается что-то неожиданное.
Человек не единственное млекопитающее, способное решать многоходовые задачи. Сколько хитроумных решений должна принять медведица гризли, чтобы добыть северного оленя и накормить своих голодных медвежат?[102] У нее явно есть генеральный план — заманить немолодого оленя в речку, где у нее будет преимущество. Медведица дразнит оленя, раз за разом подступая к нему и вынуждая его атаковать, а сама тем временем неуклонно пятится к реке. Наконец ей удается вынудить его войти в воду, и теперь олень в ее власти. Старику трудно устоять на скользком каменистом дне, его песенка почти спета. Самое главное для медведицы — не дать оленю удержаться на ногах, поэтому она устремляется всей своей массивной тушей прямо на грозные рога и опрокидывает старика на глубину. Он тонет, отчаянно брыкаясь. На каждом этапе жертва отчаянно сопротивляется, поэтому медведица должна быть готова в любую секунду изменить стратегию.
Или возьмем волков, которые совместными усилиями загоняют дряхлеющего лося. Отработанными слаженными действиями пять-шесть волков отрезают его от остального стада. Часть подкрадывается сзади, уворачиваясь от копыт, и дожидается удобного момента, чтобы обездвижить добычу, разорвав сухожилия на ногах. Часть наскакивает на лося спереди, изматывая и отвлекая от подкравшихся сзади. Как только лось охромеет, нападающие спереди перегрызут ему глотку. В обоих случаях хищники изначально представляют себе общую задачу, а детали зависят от того, как поведет себя жертва. Чем больше опыт, тем разнообразнее приемы преследования добычи. В дальнейшем прежних ошибок пытаются избегать, а новые возможности не упускать. Так оттачиваются навыки.
Вообще при охоте и добывании пропитания в мозге происходит множество разных процессов и cмена состояний: мотивация, планирование, знание особенностей местности, выбор подходящего прошлого опыта, к которому можно обратиться, постоянная коррекция ошибок, осознание намерений других участников охоты, обозначение своих намерений и, скорее всего, оперативное решение проблем. Самые младшие только смотрят, не участвуя, а подростки до тех пор, пока не наберутся опыта, чтобы идти на риск, выполняют более безопасные задания. Инстинкты отчасти тоже присутствуют, однако во многом обучение основано именно на таких принципах.