Models of the Mind

Что такого особенного в этих нейронах, что они могут это делать? Почему они могут удерживать информацию и поддерживать ее в течение нескольких секунд или минут, в то время как другие нейроны ее пропускают? Для такой устойчивой работы нейронам обычно нужен устойчивый вход. Но если активность задержки возникает без какого-либо внешнего входа в виде изображения, то этот постоянный вход должен поступать от соседних нейронов. Таким образом, активность задержки может генерироваться только сетью нейронов, работающих вместе, и связи между ними сговариваются, чтобы поддерживать активность. Именно здесь снова вступает в игру идея аттракторов.

До сих пор мы рассматривали аттракторы в сетях Хопфилда, которые показывают, как входные сигналы оживляют память. Может быть, не совсем понятно, как это помогает в работе с рабочей памятью. В конце концов, рабочая память - это все о том, что происходит после зажигания; после того как вы встали, чтобы взять книгу соседа по комнате, как вам удастся удержать эту цель в памяти? Однако, как выяснилось, аттрактор - это именно то, что нужно в данной ситуации, потому что аттрактор остается на месте.

Аттракторы определяются производными. Если мы знаем, какие входы получает нейрон и на какие веса умножаются эти входы, мы можем записать уравнение - производную, - описывающее, как активность нейрона будет меняться со временем под воздействием этих входов. Если эта производная равна нулю, это означает,активность нейрона не меняетсявременем; он просто продолжает работать с той же постоянной скоростью. Вспомните, что, поскольку этот нейрон является частью рекуррентной сети, он не только получает входные данные, но и служит входом для других нейронов. Так, его активность направлена на вычисление производной соседнего нейрона. Если ни один из входов соседнего нейрона не меняется - то есть все их производные также равны нулю, - то и у него будет нулевая производная, и он будет продолжать срабатывать с той же скоростью. Когда сеть находится в состоянии аттрактора, производная каждого нейрона в этой сети равна нулю.

Именно так, если связи между нейронами правильные, воспоминания, начатые в один момент времени, могут сохраняться гораздо дольше. Все клетки могут поддерживать свой ритм работы, потому что все клетки вокруг них делают то же самое. Ничего не меняется, если ничего не меняется.

Проблема в том, что все меняется. Когда вы выходите из кухни и идете в спальню, вы сталкиваетесь со всевозможными вещами - вашими ботинками в коридоре, ванной, которую вы собирались убрать, видом дождя на окне - которые могут вызвать изменения во входном сигнале нейронов, пытающихся удержать память. И эти изменения могут вытолкнуть нейроны из состояния аттрактора, представляющего книгу, и направить их в совершенно другое место. Чтобы рабочая память функционировала, сеть должна хорошо сопротивляться влиянию таких отвлекающих факторов. Обычный аттрактор может в определенной степени противостоять отвлекающему воздействию. Вспомните пример с батутом. Если человек, стоящий на батуте, слегка подтолкнет мяч, он, скорее всего, выкатится из углубления, а затем вернется обратно. При небольшом возмущении память остается нетронутой, но если датьмячу более сильный толчок, кто знает, где он окажется? Хорошая память должна быть устойчива к таким отвлекающим факторам - так что же может сделать сеть хорошей хранительницей воспоминаний?

Танец между данными и теорией - это сложный процесс, в котором нет четкой ведущей или последующей роли. Иногда математические модели разрабатываются только для того, чтобы соответствовать определенному набору данных. В других случаях детали данных отсутствуют или игнорируются, и теоретики поступают так, как и следует из их названия: теоретизируют о том, как может работать система, еще не зная, как она работает. Когда речь зашла о создании надежной сети рабочей памяти, ученые в 1990-х годах пошли в последнем направлении. Они придумали так называемую "кольцевую сеть" - разработанную вручную модель нейронной цепи, которая идеально подходит для надежного поддержания рабочей памяти.