Компьютерное моделирование систем со случайным распределением связей между нейронами показывает, что такие
Мы пока еще не знаем, как сети нейронов мозга решают проблему хаоса. Было выдвинуто несколько гипотез, объясняющих способность рекуррентных нейросетей создавать сложные нехаотические образы — такие, которые можно воспроизвести вновь и вновь. Одна модель предполагает, что сети нейронов могут избегать хаоса и воспроизводить специфические траектории возбуждения благодаря обучению синапсов. По крайней мере, в теории, при правильной настройке синапсов в модельной сети нейронов удается получать сложные и нехаотические схемы возбуждения. Как продемонстрировано на рис. 6.6, такой подход является мощным инструментом для создания сложных изменяющихся во времени схем двигательной активности.
Данная модель иллюстрирует характер активности десяти нейронов из сети, состоящей из 800 связанных между собой нейронов, в серии многочисленных испытаний. Каждое испытание начинается с короткого импульса, приводящего все нейроны модельной сети в исходное состояние. Начиная с этой исходной позиции, система изменяется динамическим образом: сеть автономным образом изменяется вдоль траектории, выстроенной в 800-мерном пространстве. Мы наблюдаем упрощенную версию процесса в трехмерном пространстве. Чтобы оценить потенциал данной модельной сети, мы можем соединить все 800 нейронов всего лишь с двумя выходными нейронами и предположить, что эти двигательные нейроны контролируют движение карандаша на листе бумаги относительно осей координат X и Y.
Возможно, это не очень понятно на интуитивном уровне, но если рекуррентная сеть заставляет два двигательных нейрона создавать сложный (точнее, многомерный) динамический образ, то эти выходные нейроны могут создавать практически любой рисунок (что достигается путем настройки силы синапсов между рекуррентной сетью и выходными нейронами). В данном примере два выходных нейрона «написали» слово
Важно отметить, что рекуррентные связи были соответствующим образом настроены, и поэтому сеть не является хаотической. Можно нарушить активность сети в середине траектории, но она все равно возвращается к тому, что делала раньше. Грубо говоря, эта система обладает памятью. У рекуррентных сетей есть интересное свойство: они способны запоминать свои действия. И даже если сбить систему с исходной траектории, она может «вернуться» и закончить начатую работу.
Рис. 6.6.
Рекуррентная нейросеть с динамической схемой активности. Данная модельная сеть состоит из взаимосвязанных элементов, имитирующих нейроны (схематично изображено в середине верхней панели). Эти элементы рекуррентной сети получают краткий входной сигнал и передают его двум выходным элементам. Активность этих выходных элементов соответствует положению карандаша по осям X и Y на нижнем графике. Тренировка заключается в настройке весомости связей между элементами сети и выходными элементами в соответствии с правилами обучения. После тренировки в ответ на краткий входной сигнал рекуррентная сеть создает сложную схему активности с такими выходными сигналами, которые заставляют карандаш написать слово «Chaos». Двигательные образы, такие как написанные от руки знаки, являются временны́ми образами, так что данная сеть в каком-то смысле кодирует еще и время. Точки на линиях отмечают время. Эта сеть не является хаотической, поскольку после пертурбаций на подъеме при написании буквы «h» образы воспроизводимо накладываются друг на друга (представлены результаты десяти испытаний). Воспроизводится с модификациями в соответствии со статьей Laje and Buonomano, 2013.Кроме того, как вы видите, написание слова