Models of the Mind

Уравнение Беллмана определяет ценность (V) состояния (s) в терминах вознаграждения ( ), полученного, если в этом состоянии будет выполнено действие a, и дисконтированной стоимости следующего состояния:

 

Здесь - коэффициент дисконтирования, а T - функция перехода, определяющая, в каком состоянии окажется агент после выполнения действия a в состоянии s. Операция max служит для того, чтобы всегда выполнялось действие, приносящее наибольшую ценность. Вы можете видеть, что определение ценности является рекурсивным, поскольку сама функция ценности появляется в правой части уравнения.

 

Глава 12: Великие единые теории мозга

Принцип свободной энергии был предложен в качестве объединяющей теории мозга, которая может описать нейронную активность и поведение. Свободная энергия определяется как:

 

где s - сенсорные входы, m - внутренние состояния мозга, а x - состояния мира. Первый член в этом определении (отрицательная логарифмическая вероятность s) иногда называют "удивлением", поскольку он высок, когда вероятность сенсорных входов низка.

DKL - это расхождение Куллбэка-Лейблера между двумя распределениями вероятностей, определяемое как:

Таким образом, второй член определения свободной энергии измеряет разницу между вероятностью состояний мира с учетом внутреннего состояния мозга и вероятностью состояний мира с учетом сенсорных входов. Можно считать, что мозг пытается приблизить p(x | s), используя свои собственные внутренние состояния (q(x | m)), и чем лучше приближение, тем меньше свободная энергия.

Поскольку принцип свободной энергии гласит, что мозг стремится минимизировать свободную энергию, он должен обновлять свои внутренние состояния в соответствии с этим:

Кроме того, выбор действий (a), предпринимаемых животным, влияет на получаемые им сенсорные сигналы:

 

Поэтому действия также должны выбираться с учетом их способности минимизировать свободную энергию: