Models of the Mind

Конволюционные нейронные сети обрабатывают изображения, повторяя некоторые из основных особенностей зрительной системы мозга. Они состоят из нескольких основных операций. Начиная с изображения I, первым шагом является свертка этого изображения с фильтром F. Результат этой свертки пропускается через элементарную нелинейность (𝜙), чтобы получить активность для простого слоя, похожего на клетку:

Наиболее распространенной нелинейностью является положительное выпрямление:

 

Если предположить, что изображение и фильтр являются двумерными матрицами, то AS также является двумерной матрицей. Чтобы воспроизвести сложные клеточные реакции, к простой клеточной активности применяется операция 2D max-pooling. Каждый элемент матрицы сложной клеточной активности (AC) определяется в соответствии с:

 

где Pij - двумерная окрестность AS с центром в месте ij. В результате этой операции активность сложной клетки становится просто максимальной активностью участка простых клеток, от которых она получает входные сигналы.

Глава 7: Взлом нейронного кода

Шеннон определил информацию в терминах битов, которые вычисляются как логарифм обратной вероятности символа. Это также можно записать как отрицательное значение логарифма вероятности:

 

Общая информация в коде, известная как энтропия (H), является функцией информации в каждом из его символов. В частности, энтропия - это сумма информации, содержащейся в каждом символе (xi) кода X, взвешенная по его вероятности, P(xi ).

Глава 8: Движение в низких измерениях

Анализ главных компонент (PCA) может быть использован для уменьшения размерности активности популяции нейронов. Применение PCA к нейронным данным начинается с матрицы данных (X ), в которой каждая строка представляет нейрон (из N нейронов), а каждый столбец - среднюю вычитаемую активность этих нейронов за время (длиной L):

Ковариационная матрица этих данных имеет вид

Разложение по собственным значениям говорит:

 

где каждый столбец в Q - собственный вектор K, а 𝛬 - диагональная матрица, где записи на диагонали - собственные значения соответствующих собственных векторов. Главные компоненты данных определяются как собственные векторы K.

Для того чтобы свести полноразмерные данные к D измерениям, в качестве новых осей используются D собственных векторов (ранжированных по собственным значениям). Проецирование полноразмерных данных на эти новые оси дает новую матрицу данных:

Если D равно трем или меньше, то эту уменьшенную матрицу данных можно визуализировать.

 

Глава 9: От структуры к функции

Уоттс и Строгац утверждали, что многие графы реального мира можно описать как сети с малым миром. Сети с малым миром имеют низкую среднюю длину пути (количество ребер, пройденных между любыми двумя узлами) и высокие коэффициенты кластеризации.

Предположим, что граф состоит из N узлов. Если данный узел n соединен с kn другими узлами (называемыми его соседями), то коэффициент кластеризации этого узла равен:

 

где En - количество ребер, существующих между соседями n, а член в знаменателе - общее количество ребер, которые могут существовать между этими узлами. Таким образом, коэффициент кластеризации - это мера того, насколько взаимосвязаны или "кликабельны" группы узлов.

Коэффициент кластеризации для всей сети определяется как среднее значение коэффициентов кластеризации для каждого узла:

Глава 10: Принятие рациональных решений

Полная форма правила Байеса такова:

 

где h - гипотеза, а d - наблюдаемые данные. Член в левой части уравнения известен как апостериорное распределение. Байесовская теория принятия решений (BDT) рассматривает, как правило Байеса может направлять принятие решений, указывая, как апостериорное распределение должно быть сопоставлено с конкретным восприятием, выбором или действием.

В BDT функция потерь указывает на штраф, который налагается за принятие различных типов неправильных решений (например, неправильное восприятие красного цветка как белого и восприятие белого цветка как красного может иметь различные негативные последствия). В самой базовой функции потерь любаяневерно выбранная гипотеза влечет за собой одинаковый штраф, в то время как правильный выбор (h*) не влечет никакого штрафа:

Общий ожидаемый убыток при выборе определенной гипотезы (h) рассчитывается путем взвешивания этого убытка на вероятность каждой гипотезы:

что дает:

 

Поэтому, чтобы минимизировать эти потери, следует выбрать вариант, максимизирующий апостериорное распределение. То есть наилучшая гипотеза - это гипотеза с наибольшей апостериорной вероятностью.

 

Глава 11: Как вознаграждение руководит действиями

Обучение с подкреплением описывает, как животные или искусственные агенты могут научиться вести себя, просто получая вознаграждение. Центральным понятием в обучении с подкреплением является ценность - мера, которая сочетает в себе размер вознаграждения, полученного в данный момент, и ожидаемого в будущем.