РАЗРАБОТКА И ИССЛЕДОВАНИЕ КЛЕТОЧНЫХ

РАЗРАБОТКА И ИССЛЕДОВАНИЕ КЛЕТОЧНЫХ НЕЙРОСЕТЕВЫХ
МОДЕЛЕЙ
Еськин А.О., Костюк В.П.
Саратовский государственный технический университет, [email protected]
Новизна и актуальность идеи. Построение структуры большинства
существующих нейросетевых моделей (НСМ) являются мощность и особенности
входных и выходных векторов. Эти векторы задают входные и выходные слои НСМ,
которые остаются неизменными при моделировании. Внутренние слои НСМ, их
количество и мощности, как правило, подбираются экспериментально с учетом
требований к точности обучения модели и времени моделирования [1].
Авторами предлагается подход к разработке клеточной нейросетевой модели,
структура которой динамически совершенствуется на основе использования
эволюционного генетического алгоритма.
Техническая значимость. Предлагаемая модель и алгоритм еѐ обучения могут
быть использованы в различных областях – распознавание образов, анализ и синтез
динамических систем, диагностика неисправностей, системы распознавания и синтеза
речи. Клеточная нейросетевая модель (КНСМ) представляется в виде многосвязного
графа
M  ( K , L)
где
K – множество клеток(нейронов)
K  {K i / i  1, I ,   1,  0 }
i – идентификатор клетки
 - индексы граней клетки
L – множество связей в местах стыковки граней клеток
L  {lii' ' / i, i' I ,' 0 }, i  i' ,   '
i,i' - идентификаторы соседних клеток i  i' , i  I
 ,  ' - индексы стыковочных граней клеток    ' ,    0
Предлагаемая нейросетевая модель содержит три типа нейронов:
1) Входные нейроны – нейроны, к которым подведены входные сигналы;
2) Скрытые нейроны – служат для передачи сигналов внутри сети;
3) Выходные нейроны – нейроны, связанные с выходными сигналами
Нейрон в КНСМ, по аналогии с естественным нейроном, может находиться в
трех состояниях: готовности, возбуждения и рефрактерном состоянии [2,3].
Первоначально, все нейроны находятся в состоянии готовности. При активации
входного нейрона, он переходит в состояние возбуждения. Возбужденный нейрон
активирует всех своих соседей, после чего переходит в рефрактерное состояние, в
котором он нечувствителен к раздражению. После окончания периода рефрактерного
состояния нейрона, он возвращается в состояние готовности.
Рис. 1. Структура клеточной нейросетевой модели в двумерном
пространстве
Предлагаемая структура КНСМ не содержит в себе жестко заданные внутренние
слои модели, каждая клетка связана лишь с соседними клетками. При этом нейроны
входных и выходных векторов могут являться любыми из клеток данной модели.
Для двумерного пространства структура КНСМ приведена на Рис. 1
X - входной вектор
X   {X n / n  1, N}, N  I
где
n – индекс составляющей входного вектора
Y – выходной вектор
Y  {Yh / h  1, H }, H  I
где
h – индекс составляющей выходного вектора
 - индекс вектора в обучающем множестве
Обучающим множеством является
X  X  /   1,  0
Y  Y  /   1,  0
где X  , Y - обучающие пары,  0 - мощность обучающего множества.
Предлагаемая структура НСМ, в отличие от классических моделей, является
слабосвязанной. Использование известных алгоритмов обучения этих моделей является
затруднительным. Для обучения клеточных нейросетевых моделей предлагается
генетический эволюционный алгоритм обучения, состоящий из следующих шагов.
Шаг 1. Генерация начальной популяции
Начальная популяция P0 представляет собой множество хромосом, каждая из
которых описывает один из вариантов КНСМ Mj, M j  P0
P0  {M j / j  1, J }
где
M j  {K j , M j }, K j , L j  const, j  J
Шаг 2. Инициализация моделей
Инициализация выполняется путѐм установления связи входных сигналов с
нейронами модели, выбираемыми случайным образом.
( X  M j ) : M j  {K i ' / i'1, N ,  1, 0 }, N  I , j  J
где M j  P0 , M j  M j
После инициализации входных нейронов производится установление связи нейронов
модели, выбираемых случайным образом, с компонентами выходного вектора
(Y  M j ) : M j  {K i '' / i' ' 1, H ,   1,  0 }, H  I , j  J
где M j  P0 , M j  M j , j '  j ' '
Шаг 3. Генерация весов
Процесс генерации весов представляет собой назначение весовых
коэффициентов активности граней w, задаваемых случайным образом для каждой
КНСМ Mj начальной популяции P0
M j : K i    wi /   1,  0 , i  I
Шаг 4. Активация нейросетевой модели
Активация нейросетевой модели осуществляется путѐм последовательного
выполнения следующих операций:
1. Активация входных векторов
X n  K i j , n  N , j  J
2. Активация соседних скрытых нейронов
K i j : xij   (  wj xi 'j ), i  I , j  J
  0
где
xi ' - выход соседнего нейрона, смежного с гранью 
 (x) - сигмоидальная функция активации
Рис. 2. Процесс активации КНСМ в двумерном пространстве
Операции 1, 2 выполняются для каждой КНСМ M j  P0 до активации выходных
нейронов. Процесс активации КНСМ в двумерном пространстве приведен на Рис. 2
Шаг 5. Оценка выходных векторов
Процедура оценки выходных векторов представляет собой определение
величины погрешности каждой составляющей Yh  Y j для каждой КНСМ
M j  P0 :  hj  Yt harg et  Yfact
, h  H , j J
h

где
Yt arg et - целевое значение выходного вектора
Yfact - значение выходного вектора, полученное после активации КНСМ
Шаг 6. Выбор подмножества предпочтительных моделей
На данном шаге производится выбор подмножества моделей M  P0 по
H
критерию  nj '  min  hj ' .
h 1
Границы погрешностей выбираются экспериментально.
Шаг 7. Скрещивание
Процесс скрещивания КНСМ состоит из следующих этапов:
Этап 1. Выбор пар скрещиваемых моделей M j ' , M j '' из подмножества M
Пары скрещиваемых моделей M j ' , M j '' случайным образом выбираются из
множества предпочтительных моделей M .
Этап 2. Формирование маски скрещивания.
На данном этапе производится генерация правил для скрещивания КНСМ из
множества M . Оператор скрещивания Fn используется для формирования
новой пары M j , M ˆj с использованием маски для каждой пары M j ' , M j ''
*
Рис. 3. Формирование маски скрещивания КНСМ
Этот оператор выполняет следующие действия на каждом этапе эволюции En :
F ( M j ' , M j '' , Qn )  ( M j * , M ˆj )
где
Qn - маска скрещивания
Qn  {qi / i  1, I }
1, если  xij  

j 'M
qi  
0
Для двумерного пространства процесс формирования маски скрещивания
приведѐн на Рис. 3.
Этап 3. Скрещивание
На данном этапе производится применение оператора скрещивания Fn к каждой
паре скрещиваемых моделей M j ' , M j '' и маске скрещивания
формирования новой пары M j , M ˆj
Qn
для
*
Рис. 4. Процесс скрещивания КНСМ в двумерном пространстве
Процесс скрещивания КНСМ в двумерном пространстве приведѐн на Рис. 4.
Шаги 1-7 повторяются для каждого этапа эволюции, пока погрешность одной из
моделей не достигнет заданного уровня, т.е.  nj '   заданноена полном множестве
обучающих векторов.
В настоящее время проводится исследование предложенной КНСМ и
сравнительный анализ результатов моделирования с классическими вариантами
нейросетевых моделей.
Рассматривается вопрос развития КНСМ путѐм формирования многомерной
структуры моделей.
Срок превращения идеи в конечный продукт и выход его на рынок. План
реализации проекта. Срок превращения идеи в конкретный продукт – 3 года. На первом
этапе реализации проекта (1-й год) планируется разработка и исследование структур
клеточных нейросетевых моделей, на втором этапе (2-й год) – разработка и исследование
алгоритмов обучения, на третьем этапе (3-й год) – исследование и анализ возможностей
практического применения клеточных нейросетевых моделей.
Коммерческое внедрение программного продукта планируется на промышленных
предприятиях, занимающихся разработкой и производством средств автоматизации и
контроля в газовой промышленности и теплоэнергетике. Заинтересованность указанных
предприятий в программной разработке подтверждается опытом практической работы
автора и научного руководителя [4].
Предлагаемый подход планируется использовать для повышения эффективности
адаптивных экспертных систем распознавания неисправностей в узлах распределенных
АСУТП [1,4].
__________________
1. Еськин А.О. Разработка архитектуры комплекса распознавания неисправностей в
распределенных АСУТП / А.О. Еськин, В.П. Костюк // Сборник трудов
международной научной конференции “Проблемы управления, передачи и обработки
информации” (АТМ-2011) – Саратов: изд. СГТУ, 2011 – С. 163 – 169
2. Еськин А.О. Клеточная нейросетевая модель/ А.О.Еськин, В.П. Костюк. //
Математические методы в технике и технологиях – ММТТ-25 сб. трудов
международной научной конференции -2012. –T. 4, – С. 30-31.
3. Chua L.O., Yang L. Cellular Neural Networks: Theory // IEEE Trans. on Circuits and
Systems. – 1988. – Vol. 35, № 10. – P. 1257-1272.
4. Еськин А.О. Подход к построению адаптивной экспертной системы диагностики
телемеханических комплексов / А.О.Еськин, В.П. Костюк. // Математические методы
в технике и технологиях – ММТТ-24 сб. трудов международной научной
конференции -2011. –T. 6, – С. 142-144.