Модель однородной распределенной нейроноподобной среды в

ISBN 978-5-7262-1377-4. НЕЙРОИНФОРМАТИКА – 2011. Часть 3
И.В. НУЙДЕЛЬ, С.А. ПОЛЕВАЯ1, М.Е. СОКОЛОВ, В.Г. ЯХНО
Институт прикладной физики РАН, Нижний Новгород
1
Нижегородский государственный университет им. Н.И. Лобачевского
[email protected]
МОДЕЛЬ ОДНОРОДНОЙ РАСПРЕДЕЛЕННОЙ НЕЙРОНОПОДОБНОЙ СРЕДЫ В РЯДУ ИЗВЕСТНЫХ НЕЙРОМОРФНЫХ МОДЕЛЕЙ
В настоящее время актуальной является задача разработки симуляторов биологических систем. Нами создается библиотека математических
моделей физиологических систем и функциональных состояний на единой базовой платформе – наборе моделей однородных распределенных
нейроноподобных систем, исследование которых имеет более чем двадцатилетнюю историю. Такие нейроморфные модели направлены на изучение принципов работы нейронных структур мозга.
Ключевые слова: нейроморфное моделирование, однородные распределенные нейроноподобные системы
Введение
В настоящее время активно разрабатываются модели (симуляторы)
нейронных сетей, архитектура и дизайн которых основаны на особенностях структуры и принципах работы реальных нейронов и нейробиологических систем. Их моделирование стимулировано желанием понять и воплотить в технических устройствах такие ключевые особенности нейронных структур мозга как высокая чувствительность, адаптивность, обучаемость, устойчивость к повреждениям, способность иметь дело с нечеткой,
избыточной, зашумленной информацией и, наконец, параллельный и распределенный способ обработки информации. Разработка моделей, основанных на данных об архитектуре связей в мозге и нейронных структур,
получила название нейроморфное моделирование. Нейроморфные системы предназначены для выяснения принципов работы нейронных структур
мозга [1].
Аспектами технического воплощения нейроморфных систем, как нам
известно. занимаются
• Artificial Intelligence Laboratory, University of Zurich, Switzerland;
УДК 004.032.26(06) Нейронные сети
99
ISBN 978-5-7262-1377-4. НЕЙРОИНФОРМАТИКА – 2011. Часть 3
• Institute for Neuroinformatics, EPFL, Lausanne, Switzerland;
• Center of Visual Research, York University, Canada;
• Center for Neuromorphic Systems Engineering, CalTech, USA;
• Computer and Automation Institute HAS, Hungary;
• Институт нейрокибернетики им. А.Б. Когана Южного федерального
университета, Ростов-на-Дону, Россия.
Типы нейроморфных моделей
Нейроморфные модели можно разделить на две большие группы: модели функционирования мозга как вычислительной системы (модели восприятия, действия, сознания) и биофизические модели нейронной динамики [2]. В процессе или по итогам моделирования осуществляется верификация (проверка) биологической правдоподобности симуляторов.
УДК 004.032.26(06) Нейронные сети
100
ISBN 978-5-7262-1377-4. НЕЙРОИНФОРМАТИКА – 2011. Часть 3
Имитационное моделирование
В большинстве моделей она осуществляется по электрофизиологическим данным (электроэнцефалограмма, EEG), магнитоэлектроэнцефалографии (магнитоэнцефалограмма, MEG) или по результатам магнитного
резонансного нейроимиджинга (FMRI). Это обусловлено ростом вычислительных мощностей и совершенствованием экспериментальной базы
нейрофизиологии. Модели функционирования мозга (восприятие, действие, сознание) и биофизические модели нейронной динамики, объединенные в дисциплину сomputational neuroscience, сосредотачиваются на
механистическом соответствии вычислений и результатов, зафиксированных в нейрофизиологическом эксперименте, что по сути является имитационным моделированием.
Ярким примером такого подхода является крупномасштабная модель
кортикально-таламической системы млекопитающих (E.M. Izhikevich and
G.M. Edelman, The Neurosciences Institute, San Diego, USA) [3] и Blue Brain
Project – проект по компьютерному моделированию неокортекса человека [4].
Модель Эдельмана-Ижикевича – основана на таламо-кортикальной
анатомии человеческого мозга. Она включает таламические ядра и шестиуровневую кортикальную структуру, основанную на трехмерной реконструкции отдельных нейронов зрительной коры кошки. Используются 22
типа нейронов с однородно распределенными дендритными деревьями.
Моделируются миллион спайковых нейронов с откликами, полученными
в реальных экспериментах in vitro на крысах. Модель воспроизводит поведенческие режимы нормального мозга. Спонтанная активность появляется как результат взаимодействий в соответствии с анатомией мозга и
динамических процессов. Спонтанная активность, чувствительность к
изменениям у отдельных нейронов, изменение ритмов, функциональные
связи на различных масштабах описываются моделью. Для расчетов используется мощный кластер из 60 3GHz процессоров с 1,5 GB памяти
каждый.
На модели можно воспроизвести данные электроэнцефалограмм человека и животных; можно исследовать, как отдельные связи слоев и нейронов изменяют динамику мозга и приводят к таким болезням, как болезнь
Альцгеймера, Паркинсона и т.п. Изменяя параметры нейронов, можно
моделировать эффекты влияния различных фармакологических препаратов на нейронную активность и менять стратегию лечения неврологических заболеваний. Зная состояние каждого нейрона и каждого синапса в
УДК 004.032.26(06) Нейронные сети
101
ISBN 978-5-7262-1377-4. НЕЙРОИНФОРМАТИКА – 2011. Часть 3
модели, можно анализировать механизмы нейронных вычислений с целью
формулировки «вычислительной» парадигмы на основе работы мозга. На
основе воспроизведения глобальной анатомии таламокортикальной системы можно тестировать различные гипотезы о восприятии и механизмах сознания [3]. Однако на такой модели очень трудно понять функциональные операции, которые выполняют таламо-кортикальные структуры.
Проект Blue Brain использует суперкомпьютер Blue Gene для моделирования колонок. В конце 2006 года удалось смоделировать одну колонку
неокортекса молодой крысы. При этом использовался один компьютер
Blue Gene и было задействовано 8192 процессоров для моделирования
10000 нейронов. То есть практически один процессор моделировал один
нейрон. Для соединения нейронов было смоделировано порядка 3х10 7
синапсов. Это первая модель колонки неокортекса клеточного уровня,
построенная исключительно по биологическим данным с возможностью
автоматически, по запросу, генерировать нейронную сеть по предоставленным биологическим данным [4].
В процессе моделирования получается огромный объём данных (сотни
гигабайт информации в секунду), которые чрезвычайно тяжело анализировать. Поэтому кроме параллельной обработки исходящих данных был
разработан интерфейс 3D визуализации колонки. Модель колонки, с
отображением электрической активности имеет объём порядка 150 Гб.
Такой интерфейс позволяет зрительно анализировать информацию электрической активности и выявлять наиболее интересные зоны. Он также
позволяет сравнивать результаты, полученные моделированием с опытными результатами, которые получаются путём измерения микроэлектроэнцефалограммы колонки.
Функциональные модели обработки информации
Наряду с имитационным моделированием, бурно развивающимся в
последнее десятилетие, более двадцати пяти лет существуют функциональные модели взаимодействия нейрональных модулей в процессе обработки информации. Верификация биологической правдоподобности модели осуществляется на основе функционального соответствия модели и
зрительной системы.
Осцилляторные нейросетевые модели систем мозга
УДК 004.032.26(06) Нейронные сети
102
ISBN 978-5-7262-1377-4. НЕЙРОИНФОРМАТИКА – 2011. Часть 3
Уже более четверти века уделяется внимание построению осцилляторных нейросетевых моделей обонятельной, зрительной и слуховой систем
мозга.
Примеры таких моделей: оcцилляторная сеть для обработки (сегментации) изображений (М.Г. Кузьмина, Э.А. Маныкин, И.И. Сурина [1]);
модель оcцилляторных элементов для выполнения ряда функциональных
операций (Я.Б. Казанович, Р.М. Борисюк [5]); осцилляторная сеть для
сегментации смешанных акустических потоков (D.Wang & G.J.Brown);
система связанных нейронных сетей, моделирующая работу обонятельной
системы мозга (Z.Li & J.Hertz).
Например, в колебательной модели зрительной коры мозга для нейроморфного динамического метода сегментации изображений [1] построена
нейросеть из релаксационных осцилляторов, локализованных в узлах
трехмерной пространственной решетки. Архитектура сети моделирует
колончатую архитектуру зрительной коры. Внутренняя динамика нейронного осциллятора параметрически зависит от ориентации рецептивного
поля и настраивается характеристиками отвечающего осциллятору пикселя изображения – локальной яркостью и ориентацией элементарного
направленного сегмента. В результате метод позволяет сегментировать
как чисто яркостные изображения, так и изображения с простейшими типами текстур. В случае сегментации яркостных изображений производится аккуратное воспроизведение границ фрагментов изображения. При
сегментации текстурных изображений метод позволяет выделять слабоконтрастные контуры изображения и осуществлять "интеграцию" гладких
протяженных и замкнутых контуров. Метод также предоставляет информативную визуализацию результатов сегментации [1].
Однородные распределенные нейроноподобные системы
В 1972, 1973 годах Wilson H. and Cowan J. написали одномерную модель сети из тормозных и возбуждающих нейронов без учета изменения
числа активных связей между нейронами в процессе возбуждения [6, 7]. В
1975, 1977 годах В.И. Сбитневым исследовалась модель переноса спайков
в нейронных ансамблях с учетом пространственных связей между нейронами [8].
В монографии Н.В. Позина “Моделирование нейронных структур” [9]
анализируется работа одномерных однородных нейронных слоев с различными функциями пространственной связи при различных видах преобразуемого информационного потока. Непрерывная модель не выписыУДК 004.032.26(06) Нейронные сети
103
ISBN 978-5-7262-1377-4. НЕЙРОИНФОРМАТИКА – 2011. Часть 3
вается. Нейронный слой рассматривается как фильтр для сигналов разной
формы. Среда с латеральными тормозными связями может выполнять
операции выделения краев прямоугольного фронта возбуждения и
обострение колоколообразного фронта.
В 1977 году Amari S. исследовал динамику формирования паттернов в
нейронных средах с латеральным торможением [10].
2
1.5
1
0.5
-4
-2
2
4
2
4
-0.5
-1
1
0.5
-4
-2
-0.5
-1
-1.5
-2
а
б
Рис. 1. Примеры функций связи (в разрезе), полученных в результате
суммирования двух функций связи для возбуждающих и тормозных
нейронов: а) латеральное торможение (положительный центр, отрицательные фланги), б) латеральное возбуждение (отрицательный центр, положительные фланги)
Один из вариантов модели распределенной однородной среды из тормозных и возбуждающих нейронов (одномерной) приведен в работе [11].
Модель учитывала рост числа связей между нейронами в процессе возбуждения.
На модели сети из возбуждающих и тормозных нейронов были получены следующие результаты:
- определены параметры, величинами которых определяется характер
динамических режимов в рассматриваемой нейронной сети;
УДК 004.032.26(06) Нейронные сети
104
ISBN 978-5-7262-1377-4. НЕЙРОИНФОРМАТИКА – 2011. Часть 3
- получена формула для скорости движения области с повышенной
импульсной активностью нейронов в зависимости от основных параметров сети и уровня импульсной активности тормозных нейронов;
- определены условия, при которых в сети существуют волновые режимы (разбегающиеся области активности, распространение фронта возбуждения, распространение импульсов активности, источники импульсов
коллективной активности, диссипативные структуры, автоколебания);
- проведен анализ устойчивости автоколебаний; они оказались устойчивыми по отношению к пространственным возмущениям.
Эта модель описывала некоторые волновые режимы распространения
областей повышенной импульсной активности в коре головного мозга
(например, при эпилепсии) и в гиппокампе.
Исследованием клеточных автоматов (сетей из элементов, меняющих
свое состояние в дискретные моменты времени по определенному закону
в зависимости от того, каким было состояние элемента и его ближайших
соседей в предыдущий момент времени) с 1988 года занимается Сhua L.
[12]. Исследования преобразования сигналов в сетях клеточных автоматов
и разработка электронных устройств c параллельной обработкой изображений проводились T. Roska и его сотрудниками [13].
Независимо в работе [14] на основе модели [12] был приведен общий
вариант модели двумерной нейроноподобной среды из элементов разного
типа в виде системы уравнений, которая исследуется с середины 80-х годов.
Когда отдельные элементы системы (например, живые нейроны) обладают сложной внутренней структурой, вся их внутренняя сложность не
проявляется во взаимодействиях между ними, и они функционируют как
простые объекты с малым числом эффективных состояний. В этом случае
в системе возникают упорядоченные структуры, изучая закономерности
самоорганизации которых можно интерпретировать поведение ряда однородных нейроноподобных сред.
В группе автоволновых процессов для теоретического рассмотрения
селективных свойств коры по отношению к различным стимулам использовалась теоретическая модель ее участков как двумерных плоских слоев,
состоящих из большого количества нейроноподобных однотипных активных пороговых элементов, взаимодействующих между собой через возбуждающие и тормозные связи [7–9, 12, 14]. В приближении однородности рассматриваемых участков такая модель одного слоя описывается
интегро-дифференциальным уравнением (1).
УДК 004.032.26(06) Нейронные сети
105
ISBN 978-5-7262-1377-4. НЕЙРОИНФОРМАТИКА – 2011. Часть 3
u  u
 t



 u  F T         r   u  , t   d   uex  r , t  ,



(1)
0, Z  f 0
F  Z   Z , f 0  Z  f1 ,
1, Z  f1
где u(r,t) – распределение возбуждения в двумерной нейроноподобной
системе, являющееся аналогом числа импульсов, генерируемых в момент
времени t реальным нейроном, расположенном в точке c координатами
r=(x,y); F – пороговая функция; f 0 – порог возникновения отклика; f1 –
параметр, характеризующий возбуждение элемента (порог перехода отклика в насыщение или порог возникновения максимального отклика в
системе); T – порог возбуждения (параметр, связанный с внутрикортикальным торможением); u – постоянная времени затухания начального
возмущения при F = 0; (r) – функция пространственной связи между
нейроноподобными элементами слоя, вид которой определяет настройку
данного нейронного слоя на операцию по выявлению определенного признака  изучаемого стимула;  – нормировочная константа; uex – начальное возбуждение ансамбля нейронов в слое, являющееся проекцией доставленного по нервным путям возбуждения соответствующего рецептивного поля сенсоров, возникшего вследствие воздействия стимула.
При численных расчетах функция u  r , t  считалась тождественной
отклику на неподвижное полутоновое изображение, проецируемому на
рецепторы сетчатки. Если изображение содержит признак, на который
настроен данный слой, то с течением времени (через несколько временных шагов) из начального возбуждения uex  r , t  в нейронно-сетевом слое
формируется стационарная структура в виде паттерна возбужденных
нейронов. С этого момента все такие слои могут быть рассортированы на
два типа – такие, в которых образовался паттерн возбужденных нейронов,
и такие, в которых этого не произошло. Это означает, что в полутоновом
изображении содержались признаки, на которые настроены возбужденные слои, и не содержались признаки, на которые настроены невозбудившиеся слои.
При этом, как показывают расчеты, при некоторых вариациях параметров стимула образование стационарного паттерна возбуждения в слое
при подаче начального возмущения продолжает происходить. Это свидетельствует о том, что на наличие некоторого признака в начальном стимуле реагирует сразу несколько нейронно-сетевых слоев с близкой
УДК 004.032.26(06) Нейронные сети
106
ISBN 978-5-7262-1377-4. НЕЙРОИНФОРМАТИКА – 2011. Часть 3
настройкой. Как показали расчеты, острота селекции в основном определяется величиной параметра пороговой функции T, соответствующей чувствительности нейрона, и слабо зависит от структуры межнейронных связей, определяющей вид признака стимула , на селекцию которого
настроен слой (например, контур, линии заданного направления, объекты
заданного размера и т.п.). Верификация биологической правдоподобности
модели осуществляется на основе функционального соответствия модели
и зрительной системы – моделирование топо-топического соответствия
образа образу на сетчатке и в зрительной коре, моделирование детекторов
простых признаков.
Эти результаты совпадают с имеющимися в нейрофизиологии представлениями. Однородные распределенные нейроноподобные системы
воспроизводят динамику рецептивных полей нейронов зрительной коры.
Результаты расчетов весьма успешно сопоставлялись с данными психофизического эксперимента по исследованию субъективного ориентационного пространства человека методом акустической локации. Управление
зрительным стимулом – отрезком линии под определенным углом осуществлялось с помощью акустического измерителя перемещений (рис. 2).
Рис. 2. Схема развиваемого подхода к разработке симуляторов
биологических систем
УДК 004.032.26(06) Нейронные сети
107
ISBN 978-5-7262-1377-4. НЕЙРОИНФОРМАТИКА – 2011. Часть 3
На модели двухкомпонентной однородной распределенной среды рассмотрены основные режимы структурообразования, которые наряду с
формированием стационарных структур (режим срабатывания отдельного
элемента – триггерный), бегущих фронтов и импульсов (режимы срабатывания отдельного элемента – ждущий и триггерный) демонстрируют
множество примеров динамических структур (режим срабатывания отдельного элемента – автоколебательный).
На модели трехкомпонентной однородной распределенной среды рассмотрены основные режимы преобразования зрительной информации в
системе из нейрональных модулей «зрительная кора – таламус – ретикулярные ядра таламуса», связанные с предварительной обработкой входных изображений и режимами их стробирования во времени [15].
Параметры моделируемых систем, полученные в экспериментальных
исследованиях (рис. 3,а), определяют архитектуру модели – три взаимосвязанные переменные для моделирования активности нейрональных модулей, участвующих в обработке информации, и интернейроны таламуса.
Задача – найти динамические режимы модели, соответствующие данным,
зарегистрированным в эксперименте. Рассмотрены примеры эволюции
пространственных структур активности при выделении простейших признаков исходного сигнала – аналог нормальных режимов функционирования коры головного мозга в когнитивных процессах (рис. 3,б). Показано
также, что изменение силы взаимосвязи между распределенными нейронными ансамблями приводят к формированию различных видов вспышечных режимов, аналогичных эпилептиформной активности в коре
(рис. 3,в). Для дальнейшего проведения этих исследований сейчас разрабатывается специализированное программное обеспечение [16].
а
б
УДК 004.032.26(06) Нейронные сети
в
108
ISBN 978-5-7262-1377-4. НЕЙРОИНФОРМАТИКА – 2011. Часть 3
Рис. 3. а – Взаимосвязи коры (Cx), таламуса (VPM) и ретикулярных ядер
таламуса [15]; б – нормальный режим стробирования исходного сигнала; в
– режим, соответствующий эпилептиформной активности в коре
Заключение
Проводимые нами разработки нейроноподобных моделей и исследования их динамики представляют собой один из подходов в нейроморфном моделировании. Создание библиотеки математических моделей физиологических систем и исследование функциональных состояний на базе
этих моделей – необходимый этап при конструировании симуляторов живых систем.
Список литературы
1. Кузьмина М.Г., Маныкин Э.А., Сурина И.И. Осцилляторная сеть с
самоорганизованными динамическими связями для сегментации изображений. 27 с.
http://www.keldysh.ru/pages/NNModel/kuz_files/kuz_pdf/2004/Neurocom
p/Art/kms_art.pdf
2. Karl J. Friston, Raymond J. Dolan Computational and dynamic models in
neuroimaging. The Wellcome Trust Centre for Neuroimaging, University College London, UK. // NeuroImage. 2010. Vol. 52. P. 752–765.
3. Izhikevich E.M. and Edelman G.M. Large-scale model of mammalian
thalamocortical systems. // PNAS. March 4, 2008. Vol. 105. № 9. P. 3593–
3598.
http://www.izhikevich.org/publications/
4. Markram H. The blue brain project. // Nat Rev Neurosci 7. 2006. P. 153–
160.
5. Казанович Я. Б. , Борисюк Р. М. Синхронизация в нейронной сети
фазовых осцилляторов с центральным элементом. // Матем. Моделирование. 1994. Т 6:8. С. 45–60.
6. Wilson H.R., Cowan J.D. A Mathematical Theory of the Functional Dynamics of cortical and Thalamic Neuron Tissue // Kibernetic. 1973. V. 13. P.
55–80.
7. Wilson H.R., Cowan J.D. Excitatory and Inhibitory Interactions in Localized Populations of Model Neurons // Biophys.J. 1972 V. 12. P. 1–24.
8. Сбитнев В.И., Драбкин Г.М. Перенос спайков в статистических
нейронных ансамблях. I. Концепция фазовых переходов // Биофизика.
1975. Т. 20. С. 669–702.
УДК 004.032.26(06) Нейронные сети
109
ISBN 978-5-7262-1377-4. НЕЙРОИНФОРМАТИКА – 2011. Часть 3
II. Нейрон-нелинейный источник спайков // Биофизика. 1976. T. 21. C.
1072–1076. III. Фазовый переход в модели поля CA3 гиппокампа // Биофизика. 1977. T. 22. C. 523–528.
9. Позин Н.В. Моделирование нейронных структур. М.: Наука, 1970.
264 c.
10. Amari S. Dynamics of Pattern Formation in Lateral-inhibition Type
Neural Fields // Biol. Cybernetics. 1977. Vol. 27. P. 77–87.
11. Кудряшов А.В., Яхно В.Г. Распространение областей повышенной
импульсной активности в нейронной сети // В сб. Динамика
биологических систем. 1978. Вып. 2. C. 45–59.
12. Parker T.S., Chua L.O. Practical numerical algorithms for chaotic systems. Berlin: Springer–Verlag, 1989.
13. Roska T. Cellular Wave Computers for Brain-Like Spatial-Temporal
Sensory Computing // Circuits and Systems Magazine. 2005. P. 5–19.
14. Мастеров А.В., Рабинович М.И., Толков В.Н., Яхно В.Г.
Исследование режимов взаимодействия автоволн и автоструктур в
нейроподобных средах // В сб. Коллективная динамика возбуждений и
структурообразование в биологических тканях.1988. ИПФ АН
СССР.C.89–104.
15. Coenen Anton M.L., van Luijtelaar Egidius L.J.M., Kuznetsova Galina
D., Ivanov Artem E., Nuidel Irene V., Khurlapov Pavel G., and Yakhno Vladimir G. Ìîdeling of Transition Regimes between Normal and Pathological Transformation of Sensor Signals in Brain // Proceedings of Nijmengen Institute for
Cognition and Information, 2004, pp. 331–351.
16. Нуйдель И.В., Соколов М.Е., Кузнецова Г.Д., Яхно В.Г. Динамические режимы, моделирующие таламо-кортикальные взаимодействия в
процессах преобразования информации // Четвертая международная конференция по когнитивной науке. Томск, Томский государственный университет. 2010. С. 442–443.
УДК 004.032.26(06) Нейронные сети
110