Нейронные сети с хаотическими нейронами

УДК 004.896(06) Интеллектуальные системы и технологии
А.Н. АВЕРКИН, М.А. КРИВОНОС
Вычислительный центр им. А.А. Дородницына РАН, Москва
НЕЙРОННЫЕ СЕТИ С ХАОТИЧЕСКИМИ НЕЙРОНАМИ
Исследована динамика VSF-сети. VSF-сеть – модель нейронных сетей, которая
сегментирует и фиксирует информацию полученную из внешнего мира. VSF-сеть
– гибридная нейронная сеть, использующая хаотические нейроны в скрытом слое.
VSF-сеть подвергает кластеризации информацию, кластеры которой,
генерируются хаотическими нейронами в скрытом слое. В работе анализируется
динамика генерации нейронного кластера, и исследуются факторы,
затрагивающие порождение кластера, а также исследуется стабильность и
колебания кластера нейронов и генерации кластеров.
Описание сети. Одним из основных недостатков нейронных сетей
является забывание результатов обучения при изменении обучающей
выборки. В настоящей работе описывается сеть, которая не забывает свои
предыдущие состояния – сеть VSF (Vibration Synchronizing Function Network).
VSF-сеть генерирует подсети, используя группы нейронов, которые
производят синхронные колебания в течение периода обучения. Мы называем
группу нейронов кластером. Динамика кластера VSF-сети моделируется
отображением GCM [1], являющимся примером CML – модели, которая
описывает временное взаимодействие взаимосвязанных решеток. Поведение
каждой i -той решетки xt в момент t выражено (1):
xti1  1    f  xti  

 f  x   f  x 
2
i 1
t
i 1
t
(1)
Поведение GCM определяется в зависимости от силы хаоса и
корреляционной силы каждой ячейки. Ячейка выбывает из кластера, когда
сила хаоса высока. С другой стороны, когда корреляционная сила среди ячеек
усиливается, каждая ячейка имеет тенденцию оставаться в кластере. Если сила
хаоса каждой ячейки постоянна, поведение кластера в GCM определяется в
зависимости от значения начального состояния и корреляционного
коэффициента каждой ячейки. Если корреляционные коэффициенты среди
ячеек высоки, взаимные корреляции увеличатся. В результате кластер будет
поддержан. Корреляции среди ячеек уменьшатся, когда корреляционные
коэффициенты малы. Тогда различия выходов от ячеек растет и ячейка
выпадает из кластера. Если вывод нейрона, корреляционная скорость
модифицирования которого мала и приближается к нулю, то корреляционные
коэффициенты не изменяется и существующий кластер остается поддержан.
ISBN 5-7262-0633-9. НАУЧНАЯ СЕССИЯ МИФИ-2006. Том 3
1
УДК 004.896(06) Интеллектуальные системы и технологии
VSF-сеть – нейронная сеть гибридного типа, составленная из
многослойной нейронной сети и нейронной сети Хопфилда. Многослойная
нейронная сеть обучается методом обратного распространения, а нейронная
сеть Хопфилда обучается методом подобным самоорганизующейся карте.
Первую назовем BP-модулем, а последнюю – LF-модулем. Хаотический
нейрон введен в скрытый слой BP-модуля. Как результат, динамика нейронов
скрытого слоя BP-модуля описывается GCM.
Процедура обучения. VSF-сеть – нейронная сеть, реализующая
дообучение. Предполагается, что некоторые знания уже были приобретены до
обучения VSF-сети. Эти знания называют предзнаниями. Обучение VSF-сети
выполняется согласно следующим процедурам:
1. Вводим образец  во входной слой BP-модуля
2. Вводим образец  во входной слой LF-модуля
3. Выполняется обучение LF-модуля на основе самоорганизующейся карты
4. Выход от скрытого слоя BP-модуля комбинируется с выходом
нейронов LF-модуля, и значение используется как начальное состояние для
скрытого слоя BP-модуля
5. Рекуррентная процедура, основанная на динамике, выполняется в
течение некоторого периода (=t)
6. Вычисляется средний выход скрытого слоя в период колебаний. Этот
средний выход устанавливается как выходное значение скрытого слоя.
Остальная часть прямого хода выполняется на основе этого выходного
значения
7. Вычисляется разница между выходом BP-модуля и сигналом учителя.
Веса между слоями BP-модуля модифицируются согласно правилу дельта
обобщения
8. Модифицируются силы взаимодействия между нейронами скрытого слоя.
Программная реализация модели выполнена в среде Microsoft Visual Studio
7.0 на языке C#. Проведено сравнение с АРТ-сетью, которое показало более
высокую скорость сходимости VSF-сети.
Список литературы
1. K.Kaneko. Chaotic but regular posi-nega switch among coded attractors by cluster size
variation. Phys. Rev. Lett., 1989. vol. 63. P. 219.
2. K.Kaneko. Period-coupling of kink-antikink patterns, quasi-periodicity in antiferrolike
structure and spatial intermittency in coupled map lattice – toward a prelude to a field theory of
chaos. Prog. Theor. Phys, 1984. vol. 72. P. 1112.
ISBN 5-7262-0633-9. НАУЧНАЯ СЕССИЯ МИФИ-2006. Том 3
2