Models of the Mind

Лапик разработал уравнение, описывающее, как напряжение на мембране клетки меняется с течением времени. Уравнение основано на тех, которые используются для описания электрических цепей. В частности, напряжение, V(t), определяется в соответствии с уравнением для цепи с параллельно включенными сопротивлением (R) и емкостью (C):

где t = RC. Внешний вход в клетку (от экспериментатора или воздействия другого нейрона) представлен I(t). Таким образом, клеточная мембрана интегрирует этот внешний входной ток с некоторой утечкой.

Уравнение Лапика не отражает того, что происходит с мембранным потенциалом во время потенциала действия. Однако мы можем добавить простой механизм, который указывает, когда мембрана клетки достигла своего порога и вызовет спайк. В частности, чтобы превратить это уравнение в модель нейрона, который стреляет, напряжение сбрасывается в состояние покоя (Vrest ), как только оно достигает порога спайка (Vthresh ):

 

Это не имитирует сложную динамику потенциала действия (для которой нужна модель Ходжкина-Хаксли), но обеспечивает простой способ вычисления времени спайка.

 

Глава 3: Учимся вычислять

Перцептрон - это однослойная искусственная нейронная сеть, которая может обучаться выполнению простых задач классификации. Обучение происходит за счет обновления весов между входными и выходными нейронами, которые рассчитываются на основе конкретных примеров входных и выходных сигналов.

Алгоритм обучения начинается с набора случайных весов, по одному для каждого из N двоичных входов, xn. Выходная классификация, перцептрона рассчитывается как:

где b - смещение, сдвигающее порог. При обучении каждая запись w обновляется в соответствии с правилом обучения:

где - правильная классификация, а - скорость обучения. Если xn равно единице, то знак разности между правильной классификацией и выходом перцептрона будет определять способ обновления. Если xn или разница равны нулю, обновление не происходит.

Глава 4: Создание и сохранение воспоминаний

Сеть Хопфилда представляет воспоминания как паттерны нейронной активности. Связи между нейронами позволяют сети реализовать ассоциативную память - то есть полное воспоминание можно получить, активировав его подмножество.

Сеть состоит из N ячеек, взаимодействия между которыми определяются в соответствии с симметричной матрицей весов (W). Каждая запись (nm ) в этой матрице определяет силу связи между ячейками n и m. В каждый момент времени состояние активности для каждой ячейки (cn для n=1...N) обновляется в соответствии с:

где 𝜃n - пороговое значение.

Каждая память, 𝝐i, представляет собой вектор длины N, определяющий состояние активности каждого нейрона. Если активность сети изначально установлена на зашумленную, частичную версию памяти, она будет развиваться до состояния аттрактора этой памяти (определяемого 𝝐i), и в этот момент активность сети c перестанет меняться.

Весовая матрица определяется хранящимися в сети воспоминаниями.

Поэтому пары нейронов с одинаковой активностью во многих воспоминаниях будут иметь сильные положительные связи; пары с противоположной активностью будут иметь сильные отрицательные связи.

 

Глава 5: Возбуждение и торможение

Сети с соответствующим балансом между возбуждением и торможением могут создавать стабильную, не зашумленную нейронную активность. Такие сети можно анализировать с помощью среднеполевого подхода, который упрощает математику полной сети до нескольких уравнений.

Уравнения среднего поля для сбалансированной сети начинаются с сети из N нейронов (как возбуждающих, так и тормозящих), причем нейроны получают как внешний, так и рекуррентный вход. Для рекуррентного входа каждый нейрон получает K возбуждающих и K тормозящих входов. Предполагается, что K намного меньше N:

 

Если рассматривать случай большого K и постоянного внешнего входа в сеть, то средний вход в клетку типа j (возбуждающий или тормозной) определяется следующим образом:

И дисперсия этого входа составляет:

Термины Xj и x представляют силу связи внешнего входа с популяцией j и скорость ее возбуждения соответственно; 𝜃j - порог для возникновения спайков. WjI - мера общей силы связи тормозной популяции с популяцией j (соответствующее значение возбуждающей популяции определено как единица). WjI определяется как сила одной связи, умноженная на √K.

j - средняя активность j-й популяции, определяемая в диапазоне от нуля до единицы. Эти значения определяются средним значением и квадратным корнем из дисперсии входных данных в соответствии с:

где H - дополнительная функция ошибки.

Чтобы убедиться, что ни возбуждающий, ни тормозной вход в клетку не подавляет ее выход, первый член в уравнении для mj должен быть того же порядка, что и порог, который равен единице. Для этого сила отдельных связей должна быть равна 1/√K.

 

Глава 6: Этапы развития зрения