Models of the Mind

Аттракторы - не тривиальные явления. В конце концов, если все нейроны в сети постоянно посылают и получают входные сигналы, почему мы должны предполагать, что их активность когда-нибудь установится в состоянии памяти, не говоря уже о правильном состоянии памяти? Поэтому, чтобы быть уверенным в том, что в этих сетях образуются правильные аттракторы, Хопфилду пришлось сделать довольно странное допущение: веса в сети Хопфилда симметричны. Это означает, что сила связи от нейрона A к нейрону B всегда такая же, как и сила связи от B к A. Соблюдение этого правила давало математическую гарантию появления аттракторов. Проблема в том, что шансы найти в мозге популяцию таких нейронов, мягко говоря, невелики. Для этого нужно, чтобы каждый аксон, выходящий из одной клетки и образующий синапс с другой, в точности соответствовал тому, что та же клетка отправляет свой аксон обратно, соединяясь с первой клеткой с той же силой. Биология просто не так чиста.

Это свидетельствует о постоянном напряжении в математическом подходе к биологии. Точка зрения физика, зависящая от почти иррациональной степени упрощения, постоянно противоречит биологии, полной грязных, неудобных деталей. В данном случае детали математики требовали симметричных весов, чтобы сделать какое-либо определенное заявление об аттракторах и, таким образом, добиться прогресса в моделированиипроцесса памяти . Биолог, скорее всего, сразу бы отверг это предположение6.

Хопфилд, стоявший по обе стороны пропасти между математикой и биологией, знал, что нужно ценить точку зрения нейробиологов. Чтобы снять их озабоченность, он показал в своей оригинальной работе, что - хотя это и нельзя было гарантировать математически - сети, допускающие асимметричные веса, все же были способны обучаться и поддерживать аттракторы относительно хорошо.

Таким образом, сеть Хопфилда стала доказательством того, что идеи Хебба об обучении действительно могут работать. Кроме того, она давала возможность изучать память математически - количественно. Например, сколько именно воспоминаний может хранить сеть? Этот вопрос можно задать, только имея в голове точную модель памяти. В простейшей версии сети Хопфилда количество воспоминаний зависит от числа нейронов в сети. Например, сеть с 1 000 нейронов может хранить около 140 воспоминаний; 2 000 нейронов - 280; 10 000 - 1 400 и так далее. Если количество воспоминаний не превышает примерно 14 процентов от количества нейронов, каждое воспоминание будет восстановлено с минимальной ошибкой. Однако добавление новых воспоминаний будет подобно последнему дополнению к карточному домику, которое приведет к его обрушению.Когда возможности сети Хопфилда превышены, она разрушается: входные сигналынаправляются к бессмысленным аттракторам, и ни одно воспоминание не восстанавливается успешно. Это явление получило соответствующее драматическое название "катастрофа отключения".

От точности не уйти: как только найдена оценка объема памяти, разумно спросить, совпадает ли она с количеством воспоминаний, которые, как мы знаем, хранит мозг. Знаменательное исследование, проведенное в 1973 году, показало, что люди, которым показывали более 10 000 изображений (каждое только один раз и на короткий промежуток времени), были вполне способны распознать их впоследствии. 10 миллионов нейронов в периферической коре - области мозга, связанной с визуальной памятью, - могли бы хранить такое количество изображений, но это не оставило бы места ни для чего другого. Таким образом, казалось, что в гебистском обучении есть проблема.

Однако эта проблема становится менее проблематичной, когда мы понимаем, что узнавание - это не запоминание. То есть ощущение знакомости при виде изображения может возникать без способности восстановить этот образ с нуля. Сеть Хопфилда примечательна тем, что способна справиться с последней, более сложной задачей - она полностью заполняет память из ее частичного фрагмента. Но первая задача по-прежнему важна. Благодаря исследователям из Бристольского университета стало известно, что распознавание также может быть выполнено сетью, использующей гебистское обучение. Такие сети, если оценивать их способность маркировать входной сигнал как новый или знакомый, обладают значительнобольшей производительностью: 1000 нейронов теперь могут распознать целых 23 000 изображений. Как прозорливо заметил Семен, это пример проблемы, возникающей при использовании общего языка для разделения функций мозга. То, что нам кажется просто "памятью", распадается под пристальным взглядом науки и математики на множество различных навыков.

* * *