Моделирование переменного синаптического взаимодействия

ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
И.О. КОЛОТУХИН
Ярославский государственный университет им. П.Г. Демидова
[email protected]
МОДЕЛИРОВАНИЕ ПЕРЕМЕННОГО СИНАПТИЧЕСКОГО ВЗАИМОДЕЙСТВИЯ НЕЙРОННЫХ КЛЕТОЧНЫХ АВТОМАТОВ
В работе предложена и исследована модель взаимодействия нейронных клеточных автоматов, основанная на предположении о том, что синаптический вес связи между элементами сети есть величина переменная.
Предполагается, что вес зависит от внутреннего состояния нейронного
клеточного автомата. Построена модель нейронной сети с переменным
синаптическим взаимодействием, которая способна хранить заранее заданную периодическую последовательность импульсов.
Ключевые слова: нейронный клеточный автомат, модель переменного
синаптического взаимодействия, синхронизация колебательных процессов
Введение
В теории нейронных сетей существует более десяти различных
направлений, по решению тех или иных теоретических и прикладных задач. Рассмотрим одно из этих направлений – осцилляторные нейронные
сети. Основной интерес при исследовании осцилляторных нейронных
сетей сосредоточен на динамических колебательных аспектах их функционирования. В соответствии с этим выбирается такая конструкция отдельного элемента и такая архитектура сети, при которых наблюдаются
регулярные, квазипериодические или стохастические колебания. При
этом исследуются условия возникновения колебаний и условия их синхронизации. Изучение нейронных сетей стимулируется результатами
нейрофизиологических экспериментов, указывающих на существенную, а
возможно и центральную роль колебательных процессов в работе нервной
системы. Одна из основных гипотез состоит в том, что процесс обработки
информации в нервной системе может описываться в терминах синхронизации активности различных нейронных структур.
Постановка задачи
УДК 004.032.26(06) Нейронные сети
155
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
В качестве элемента осцилляторной сети выбрана биологически правдоподобная модель – нейронный клеточный автомат (НКА) [1]. Основная
часть нашего исследования связана с построением новой модели взаимодействия нейронных клеточных автоматов. При переменном взаимодействии НКА в сети можно выбрать начальные условия таким образом, чтобы при небольших отклонениях синаптических весов от некоторых значений, удовлетворяющих некоторым условиям, в системе существовали
волны активности заранее заданной структуры. Таким образом, построенная модель способна хранить заранее заданную периодическую последовательность импульсов.
Описание нейронного клеточного автомата
В работе [1] на основе анализа биологических данных предложена модель нейронного клеточного автомата – элемента, периодически генерирующего импульсы. Каждый такой автомат описывается параметром,
названным мембранным потенциалом u(t )  0 . В момент времени t 0 , когда мембранный потенциал пересекает пороговое значение p(t ) (
p0  p(t )  0 ), клеточный автомат генерирует импульс, который может
оказывать влияние на изменение мембранных потенциалов других автоматов. Если для всех s  t0 , t 0  , (   0 ) выполнено неравенство
u(s)  p(s) , то для мембранного потенциала и его порогового значения
справедливы соотношения:
u(t0  )  u(t0 ) exp(), p(t0  )  p(t0 ) exp(k ),
где k  0 . После генерации импульса автомат некоторое время находится
в состоянии рефрактерности — невосприимчивости к воздействию. После
выхода автомата из рефрактерного состояния его мембранный потенциал
монотонно растет даже без внешнего воздействия. Одновременно монотонно уменьшается пороговое значение мембранного потенциала. Тем
самым, даже при отсутствии воздействия, автоматы периодически генерируют импульсы.
Если автомат- приемник не находится в рефрактерном состоянии, то
под действием пришедших импульсов (спайков) в прилегающих к нему
синапсах выделяются медиаторы. Медиаторы присутствуют в течение
времени T1 . Если автомат-приемник под действием медиаторов сгенерировал импульс, то медиаторы на прилежащих к нему синапсах разрушает-
УДК 004.032.26(06) Нейронные сети
156
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
ся. После выхода НКА из рефрактерного состояния динамика u(t ) для
t  t0  TR   и до генерации импульса подчинена закону:
n
u (t )  u0 exp((1   qi i (t ))) .
i 1
Эта формула описывает изменение мембранного потенциала без внешнего
воздействия, если i (t )  0, и с внешним воздействием, если i (t )  0.
Здесь qi – синаптические веса, характеризующие эффективность воздействия медиаторов. В работе [1] считалось, что количество подействовавшего медиатора неизменно.
Переменное синаптическое взаимодействие
В данной работе будем считать, что синаптический вес зависит от
времени, прошедшего с момента выхода автомата из состояния рефрактерности. Другими словами, автомат-приемник слабо реагирует на приходящий сигнал сразу после выхода из рефрактерного состояния. И, напротив, для данного автомата-приемника входной сигнал сильнодействующий, если до генерации собственного спайка остается относительно небольшой промежуток времени.
Построим такую модель взаимодействия, в которой для каждых двух
фиксированных НКА синаптический вес их связи, вообще говоря, разный
для разных тактов прохождения волны возбуждения по сети.
УДК 004.032.26(06) Нейронные сети
157
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
Рис. 1. Зависимость во времени синаптического воздействия от количества
медиаторов и соответствующее изменение мембранного потенциала
На рисунке 1 показан график зависимости во времени синаптического
веса от количества медиаторов, а также графики изменения мембранного
потенциала в зависимости от синаптического веса. Здесь t1sp – момент ге2
3
нерации спайка автоматом-приемником, t sp
и t sp
– моменты генерации
спайков этим автоматом-приемником через время T2 и 2T2 , T2 – промежуток времени, через который изолированный НКА периодически генерирует спайки, TR – промежуток времени рефрактерности. На рисунке
показано, как может измениться мембранный потенциал в зависимости от
времени поступления импульса либо в t1 , либо в t 2 .
Сеть из нейронных клеточных автоматов
Пусть 10 , 02 , 30 такие числа, что выполнены следующие неравенства
10  02  30  T2 , 10  02  TR , 10  30  TR , 02  30  TR , 10 , 02 , 30  T1.
Рассмотрим сеть из трех НКА, объединенных в кольцо. В такой сети
каждый автомат может оказывать воздействие на два оставшихся. Для
каждого автомата вычислены синаптические коэффициенты по формулам:
(1  k )(T2  10  02  30 )
(1  k )(T2  10  02  30 )
q3,1 
, q1,2 
,
0
1
02
(1  k )(T2  10  02  30 )
q2,3 
.
30
Можно доказать, существует такой режим работы кольца, что временные промежутки между спайками НКА с течением времени стабилизируются, и становятся равными 10 , 02 , 30 . Другими словами, при определенных условиях данная система из нейронных клеточных автоматов с
различными синаптическими весами самоорганизуется.
Можно рассмотреть обобщение задачи для кольца из N автоматов и
доказать, что существует стабильный режим работы кольца, при котором
спайки автоматов следуют в порядке возрастания номеров, и временные
УДК 004.032.26(06) Нейронные сети
158
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
рассогласования между моментами спайков i-го и i + 1-го автоматов (
i  1, 2,..., N ) принимают заранее выбранные значения i0 .
Вернемся к рассмотрению сети-кольца из трех автоматов с переменным взаимодействием, описанным выше. Модель взаимодействия автоматов реализуем следующим образом. Пусть синаптическое воздействие
зависит от времени поступления спайка на автомат-приемник при условии, что он не находится в состоянии рефрактерности. Будем считать, что:
1. сразу после выхода автомата из состояния рефрактерности, он слабо реагирует на приходящие спайки;
2. в конце состояния восприимчивости (т.е. когда до генерации собственного спайка остается относительно малый промежуток времени)
поступивший на автомат спайк действует с большей силой.
Будем считать, что функция, определяющая синаптический вес, имеет
вид:
q(t )    ( p0 (e k(t tsp TR )  e k(t tsp ) )  u0e(t tsp TR )  u0 ),
'  t  t T ,
tsp
sp
R
' , t
где tsp
sp – два соседних момента времени спайков.
Обозначим через t11 , t12 , t31 – моменты спайков автоматов кольца на
первом такте прохождения волны возбуждения. Пусть выполнены условия:
t11  t12 , t12  t31 , t12  t11  TR , t31  t12  T1 , t31  t11  TR , t31  t12  TR .
Введем временные рассогласования 12  t12  t11 , 13  t31  t12 между спайками первого и второго, второго и третьего НКА. Обозначим 12  t12  t31 –
временное отставание момента t12 спайка первого автомата от момента
спайка третьего автомата и  22 , 32 – рассогласования моментов спайков
первого и второго, второго и третьего автоматов соответственно на втором этапе прохождения волны. Рассмотрим следующий итерационный
процесс, отражающий временные соотношения между спайками на последовательных тактах прохождения волны по кольцу:
 12 (1  k  q(t31 ))  (1  k )(T2  12  13 ),
 2
2
2
1
2 (1  k  q(t1 ))  (1  k )(T2  1  3 ),
2 (1  k  q(t 2 ))  (1  k )(T  2  2 ),
2
2
2
1
 3
где q(*) есть значения функции q(t ) , т.е. величины синаптических весов
зависят от времени поступления импульсов на автомат-приемник.
В общем виде итерационный процесс будет иметь вид:
УДК 004.032.26(06) Нейронные сети
159
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
  n 1 (1  k    ( p (e  k  (n2 3n TR )  e  k  (n2 3n ) ) 
1
0

n
n

u0 e(2 3 TR )  u0 ))  (1  k )(T2   2n  3n );

n 1 n
n 1 n
  n2 1 (1  k    ( p0 (e  k (1 3 TR )  e  k (1 3 ) ) 

n 1 n
u0 e(1 3 TR )  u0 ))  (1  k )(T2  1n 1  3n );

 n 1
n 1 n 1
 k  ( n2 1 1n 1 TR )
 e  k (2 1 ) ) 
3 (1  k    ( p0 (e

 ( n 1 n 1 TR )
 u0 ))  (1  k )(T2   2n 1  1n 1 ).
  u0 e 2 1
Заметим, что исследования данной системы технически достаточно
громоздки для аналитических вычислений. Поэтому в общем виде исследования были проведены численно, результаты этих исследований представлены ниже.
Рассмотрим задачу при некоторых условиях, которые позволят провести теоретическое обсуждение. Колебательный процесс в сети с синаптическими весами q3,1  q1,2  q2,3 и заранее заданными начальными условиями выравнивается и входит в стабильное состояние.
Будем считать, что мы наблюдаем за процессом последовательной генерации импульсов автоматами кольца в случае, когда каждый автомат на
каждом такте воздействует на соседние с новым синаптическим весом.
Однако условия генерации подобраны так, что на каждом такте веса слегка отклоняются от предельных значений q3,1 , q1,2 , q2,3 . Обозначим эти
отклонения для каждого автомата в виде последовательности значений на
каждом такте: 1s  2s  3s  , s  1, 2,3, .
Итак, новые веса на каждом такте имеют вид:
q3,1  1s , 0  1s  q3,1 ,
q1,2   2s , 0   2s  q1,2 , ,
q2,3  3s , 0  3s  q2,3 ,
где s номер такта.
Выше представлены формулы для синаптических коэффициентов, при
которых колебательный процесс в кольце из автоматов стабилизируется, и
промежутки между спайками становятся равными заранее заданным величинам 10 , 02 , 30 . Аналогично исследуем итерационный процесс, отражающий изменения промежутков времени между спайками в сетикольце, где автоматы действуют на соседние с отклоняющимися синаптическими коэффициентами:
УДК 004.032.26(06) Нейронные сети
160
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
 12 (1  k  q3,1  11 )  (1  k )(T2  12  13 ),
 2
1
2
1
 2 (1  k  q1,2   2 )  (1  k )(T2  1  3 ),
2 (1  k  q  1 )  (1  k )(T   2   2 ).
2,3
3
2
2
1
 3
Данный итерационный процесс является разновидностью итерационного процесса Зейделя. Матрица
1 k
1 k
1  k  q3,1  11



1
A
1 k
1  k  q1,2  2
1 k


1 k
1 k
1  k  q2,3  13 

симметричная, положительно определенная, с ненулевыми диагональными элементами, что является достаточным условием для сходимости [2].
Из общей теории разностных уравнений [2] следует, что сходимость
процесса не нарушается при достаточно малых изменениях параметров,
т.е. можно указать такое  i , что при is  i итерационный процесс име-
ет предельную точку 0 с координатами, мало отличающимися от координат ( 10 , 02 , 30 ) точки 0 .
Результаты компьютерного моделирования
Проведены численные исследования для сети из трех НКА. Были выбраны следующие значения необходимых параметров u0  1, k  1,
TR  2, p0  4,75,   0, 25, T1  1,5. Шаг вычислений 0,01, а первый автомат «включается» в нулевой момент времени.
Для промежутков между спайками: 1  1, 4, 2  1,3, 3  1, 2 вычислены соответствующие им синаптические коэффициенты: q1,2  0,3
q2,3  0,323 q3,1  0,35 . В табл. 1 приведены значения временных рассогласований в результате работы программы с заданными параметрами.
Таблица 1
Временные рассогласования для неоднородной сети
Номер
такта
1
2
1
2
3
4
5
6
7
8
9
10
1,53
1,05
1,53
1,1
1,53
1,14
1,52
1,17
1,51
1,2
1,49
1,23
1,47
1,25
1,46
1,26
1,45
1,27
1,44
1,28
УДК 004.032.26(06) Нейронные сети
161
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
3
1,37
1,31
1,26
1,23
1,21
1,2
1,19
1,19
1,19
1,19
Продолжение таблицы 1
11
1,43
1,29
1,19
12
1,42
1,3
1,19
13
1,41
1,3
1,19
…
…
…
…
14
1,4
1,3
1,2
30
1,4
1,3
1,2
После 14 такта режим в сети стабилизируется, и временные рассогласования устанавливаются в заранее заданные значения.
Для моделирования режима с переменным взаимодействием между
НКА рассмотрена система из НКА с синаптической функцией q(t ) 
   ( p0 (ek (t tsp TR )  ek (t tsp ) )  u0e(t tsp TR )  u0 ), параметр   0,149
и   0,0948. В табл. 2 приведены значения временных рассогласований и
синаптических весов в результате работы программы.
Таблица 2
Временные рассогласования для сети с переменными синаптическими
весами
Номер
такта
1
2
3
q1,2
q2,3
q3,1
1
2
3
4
5
6
7
8
1,53
1,04
1,39
0,278
0,324
0,292
1,51
1,05
1,37
0,278
0,320
0,294
1,5
1,08
1,35
0,278
0,318
0,294
1,49
1,12
1,33
0,279
0,315
0,296
1,48
1,15
1,31
0,281
0,313
0,298
1,47
1,17
1,29
0,282
0,309
0,299
1,46
1,19
1,27
0,282
0,308
0,3
1,45
1,21
1,26
0,283
0,306
0,301
Продолжение таблицы 2
9
1,44
1,23
1,25
10
1,43
1,25
1,24
11
1,42
1,26
1,24
12
1,41
1,27
1,24
13
1,4
1,28
1,23
14
1,39
1,29
1,23
15
1,39
1,3
1,23
УДК 004.032.26(06) Нейронные сети
16
1,38
1,31
1,23
…
…
…
…
30
1,38
1,31
1,23
162
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
0,284
0,305
0,302
0,285
0,303
0,304
0,286
0,302
0,305
0,287
0,3
0,306
0,287
0,299
0,308
0,288
0,299
0,310
0,288
0,298
0,310
0,288
0,297
0,310
…
…
…
0,288
0,297
0,310
При других значениях параметров модели в эксперименте наблюдались режимы, которые сложно получить аналитически.
Заключение
На основе биологических предпосылок разработана новая модель взаимодействия нейронных клеточных автоматов. Рассмотрен вопрос о планировании колебательных режимов в неоднородной сети, вопрос об
устойчивости этого режима к отклонениям синаптических весов от некоторых предельных значений. Показано, что при определенном выборе
параметров в сети-кольце из НКА с переменным синаптическим взаимодействием существует устойчивый колебательный режим. Проведено
численное моделирование процесса взаимодействия автоматов в сети.
Список литературы
1. Шабаршина Г.В. Проведение возбуждения по кольцевой структуре нейронных клеточных автоматов. //Моделирование и анализ информационных систем. Ярославль, 1994. № 2. С. 116–121.
2. Бахвалов Н.С. [и др.] Численные методы. М.: Изд-во БИНОМ.
Лаб. знаний, 2006.
УДК 004.032.26(06) Нейронные сети
163