Вольфрам Шульц и специалисты по вычислительным системам Питер Даян и Рид Монтегю показали, что допаминовые нервные клетки ведут себя именно так, как следовало бы ожидать, исходя из того, что мозг обезьяны пользуется тем же методом обучения, что и машина, использующая алгоритм временных различий. Активность допаминовых клеток и отражает те ошибки в предсказаниях, которые позволяют обезьяне обучаться, не имея учителя. Этот механизм обучения работает отнюдь не только в нервных клетках обезьян. Обучением путем предсказаний можно объяснить также поведение пчел, которые ищут лучшие цветы, и людей, играющих в азартные игры.[99]
В обоих случаях обучение путем предсказаний формирует карту возможных действий, на которой отмечено, какие действия с наибольшей вероятностью приведут к награде.Пользуясь ассоциативным обучением, мозг составляет карту окружающего мира. По сути дела, это карта ценностей. На этой карте отмечены объекты, обладающие высокой ценностью, сулящие награду, и объекты, обладающие низкой ценностью, сулящие наказание. Кроме того, на ней отмечены действия, обладающие высокой ценностью, которые сулят успех, и действия, обладающие низкой ценностью, сулящие неуспех.
Стоя на пороге университетской столовой, я инстинктивно направляюсь туда, где смогу найти лучшую еду и напитки. Я направляюсь к столикам, за которыми обычно сидят мои друзья, и подальше от столиков, за которые часто садятся специалисты по молекулярной генетике и профессора английского языка. Я автоматически толкаю дверь, которая открывается вовнутрь, и прохожу, не задумываясь, туда, где подают горячее.[100]
В какой-то момент администрация столовой может решить переставить столики и поменять дверь. Некоторое время я по-прежнему буду пытаться толкать дверь, которая теперь открывается наружу, но рано или поздно карта в моем мозгу будет автоматически подправлена.Взяв свой обед, я сажусь за столик, и вскоре оказывается, как ни странно, что я сижу рядом с профессором английского языка и пытаюсь убедить ее, что все эти новые данные о том, как мозг познаёт окружающий мир, интересны и важны. Я говорю ей, что для нашего мозга окружающая действительность выглядит не какой-то звенящей разноцветной путаницей, а картой, на которой обозначены открытые перед нами возможности. И что эта карта открытых возможностей обеспечивает нашу глубокую связь с непосредственно окружающим нас миром. Стоит мне только увидеть вон ту кружку, как мой мозг уже начинает играть мышцами и сгибать мои пальцы на случай, если я захочу взять ее в руку.
Рис. 4.6.
Наш мозг автоматически готовит программы действий в соответствии с окружающими объектами.Умберто Кастьелло и его коллеги провели ряд экспериментов, показавших, как различные находящиеся в поле зрения предметы вызывают автоматическую активацию реакций (программы действий), требуемых, чтобы протянуть руку и взять в нее каждый из этих предметов, даже если у человека нет осознанного намерения брать их в руки. Этот было сделано путем очень точного измерения движений рук испытуемых при взятии различных предметов. Когда мы берем что-либо рукой, расстояние между большим пальцем и остальными пальцами заранее приводится в соответствие с размером предмета. Когда я тянусь за яблоком, я раскрываю руку шире, чем когда тянусь за вишней. Но если я тянусь за вишней, в то время как на столе, кроме вишни, есть еще и яблоко, то я раскрываю руку шире, чем обычно делаю, чтобы взять вишню. Действие, требуемое, чтобы взять вишню, попадает под влияние действия, требуемого, чтобы взять яблоко. Такое влияние возможного действия на совершаемое показывает, что мозг одновременно параллельно заготавливает программы для всех этих действий.