"Теорія та методика навчання математики, фізики, інформатики. Том-1"

Ниже рассмотрен аспект моделирования обучающего процесса на основе системного, нейросетевого подхода с выяснением возможностей реализации резонансно-стохастического эффекта в обучении. В качестве полезной аналогии здесь уместно рассмотреть некоторые аспекты динамики нелинейных нейрокибернетических систем (см. [1–4]). В последние годы интерес к динамике нелинейных систем резко вырос в связи с открытием и экспериментальным подтверждением целой группы принципиально новых и достаточно парадоксальных эффектов (см. [4–8]). Речь идет, например, о том, что формально наличие источников шума в нелинейных динамических системах может индуцировать принципиально новые режимы функционирования, которые не могут быть реализованы в отсутствие шума. Причем, индуцируются более упорядоченные режимы, приводящие к образованию регулярных структур, увеличивающие степень когерентности, вызывающие рост усиления и увеличения отношения сигнал/шум и т.д. Среди указанных эффектов особое место занимает феномен стохастического резонанса [4–8]. Суть дела состоит в том, что отклик нелинейной системы на внешний сигнал при определенных условиях может заметно усиливаться с ростом интенсивности шума в системе. Нас интересует поиск условий в процессе обработки, скажем, математической информации, при которых процесс обучения или обработки будет наиболее эффективным и оптимальным. В качестве основополагающего модельного нейросетевого алгоритма можно использовать модифицированный [4] и в определенном смысле улучшенный известный алгоритм обучения с обратным распространением ошибок для многослойных нейрокибернетических систем [1–4]. При этом в отличие от стандартной технической нейросетевой модели состояния нейронов описываются уже не двумя значениями ±1, а принимают значения в интервале между 0 и 1. Для изучения возможности реализации режима стохастического резонанса в системе наглядно провести рассмотрение на примере нейронной сети вида [1,4]:

s_i( t+ t)=sgn[ Kh( t) – ( t) –f _m(  t)],

h_i( t) =J_ij¹s_j( t).

где ( t) – -коррелированный шум с интенсивностью D.

Более сложный вариант сети задается формулами типа:

Y_i=sgn ( W_ij1,…jrx_ix_j1…x_jr).

Известно, что спектры сигналов, обрабатываемых биологическими системами, являются достаточно сложными (как правило апериодическими). В случае апериодического сигнала, не имеющего пиков в спектре, обычно используемые меры (коэффициент усиления, отношение сигнал/шум, распределение времен переходов) являются либо неприменимыми, либо неэффективными. Естественно, такой подход не совсем уместен в теории преподавания. Величины, характеризующие передачу шумового сигнала через систему, могут быть рассчитаны на основе взаимных корреляционных функций (или взаимных спектральных плотностей) между входом и выходом системы [9]. Если предположить, что входной сигнал s( t), действующий на систему, порождает случайный процесс на выходе x( t) и считать, что s( t) и x( t) являются стационарными случайными процессами, можно ввести взаимную корреляционную функцию процессов s( t) и x( t), которая определяется как

,

где – двумерная совместная плотность вероятности процессов s( t) и x( t). Взаимная спектральная плотность есть преобразование Фурье взаимной корреляционной функции:

.

Введём в рассмотрение функцию когерентности Г( ω), которую определим следующим стандартным образом:

.

Эта величина изменяется [0, 1] и характеризует степень когерентности процессов s( t), x( t) на частоте ω. Как известно, важнейшей характеристикой динамических систем является восприимчивость χ( ω, D), где D– интенсивность внутреннего шума. Предполагая далее достаточную слабость сигнала s( t) и, что s( t) есть гауссов стационарный случайный процесс, статистически независимый от внутреннего шума системы, статистические характеристики отклика системы на воздействие s( t) могут быть вычислены с помощью теории линейного отклика. Для взаимной спектральной плотности имеем

.

Спектральная плотность на выходе имеет вид:

,

где – спектральная плотность невозмущенной системы в отсутствие сигнала. В свете сказанного, функцию когерентности в приближении линейного отклика можно представить:

.

Легко понять, что функция когерентности всегда меньше 1 и зависит от интенсивности внутреннего шума D. Предварительные тесты работы обучающего процесса, связанного с усвоением материала по геометрии показывают, что когерентность входа и выхода может быть оптимальна при определённом уровне шума [10]. При увеличении времени корреляции сигнала когерентность входа и выхода увеличивается. Таким образом, в системе принципиально возможным оказывается реализация режима стохастического резонанса с высоким уровнем усвоения входной информации.

Литература

Neural Networks for Computing, Ed. J. Denker. – N-Y.: AIP Publ., 2000.

Neural Computers, Eds. R. Eckmiller, C. Malsburg. –- Berlin: Springer, 1998.

Нейроинформатика и ее приложения. Под ред. Горбаня А.Н. – Красноярск: Изд. КГТУ, 1995. – 229 с.