Конструкция аппарата мышления и модель обучения речи

Конструкция аппарата мышления
и модель обучения речи
Д.С. Чернавский, В.П. Карп,
А.П. Никитин, О.Д Чернавская,
Д.С. Щепетов.
Введение.
Работа лежит в русле так называемого «естественноконструктивистского» (или «синергетического» [1-4]) подхода,
базирующегося на нейрокомпьютинге (см. [5] и ссылки там же),
теории распознавания (см. [6] и ссылки там же) и динамической
теории информации (ДТИ, см. [7,8]).
В работе [9] было исследованы основные принципы процесса
мышления с позиций ДТИ и было предложено определение
мышления как
самоорганизующегося процесса записи (восприятия), сохранения,
обработки, а также генерации и распространения новой
информации без вмешательства извне.
Последнее означает, что программа (алгоритм) решения задач
не вкладывается извне, но создается внутри Аппарата Мышления
(далее -- АМ) сама (самоорганизация) в результате «обучения».
Задачи мышления дуальны.
1. Условия хранения и записи информации противоречат условиям генерации
новой информации.
2. Условия обучения АМ. и условия работы обученного АМ тоже дуальны.
Под «работой АМ» понимается: распознавание объекта, прогноз развития
событий, принятие решений и реализация их (уже вне АМ – в эффекторной
системе).
При обучении АМ – создании инструмента - необходим поиск, свободный
выбор (т.е.метод проб и ошибок). Необходим аппарат проверки и исправления
ошибок, для чего полезен «шум». Создается аппарат медленно.
При работе созданного инструмента его проверка и изменения не нужны, а
шум вреден. Инструмент должен работать быстро и однозначно.
Отсюда следует, что в АМ должны быть две подсистемы:
Одна (первичная) для восприятия информации, обучения, и создания
алгоритмов работы
(т.е. инструмента). Можно (условно) назвать эту
подсистему «правым полушарием» – ПП.
Другая – для запоминания информации и алгоритмов работы и решения
повседневных, технически и научных задач.
2. Блоки нейропроцессоров - основные элементы АМ
Конструкция АМ строиться из нейропроцессоров
нескольких типов. Их основные свойства:
Нейропроцессор
пластина,
населенная
формальными нейронами общим числом n.
Они взаимодействуют с другими нейропроцессорами.
Под формальным нейроном понимается бистабильный
элемент, который может существовать стационарно в
активном (+1), либо в пассивном (–1 или 0) состояниях.
Переключение происходит, когда алгеброическая сумма
сигналов (поступающих по связям) превышает порог.
Число связей N
внутри пластины оценивается как
1 << N << n(n–1), т.е. принимается, что каждый из n нейронов
связан со многими, но не всеми нейронами своей пластины.
Аналогичное ограничение вводится и для межпластинных
связей.
Связи между нейронами формируются в процессе
обучения, закон обучения зависит от функции процессора.
Замечание:
В современной теории нейросетей используется
преимущественно дискретное описание (предполагается, что
нейрон переключается мгновенно).
Мы будем использовать континуальное описание (в
форме дифференциальных уравнений). Это важно, поскольку
обучение связей происходит именно во время переключения.
Кроме того, учтем, что время возбуждения нейрона Т
конечно, затем следует рефрактерная фаза (длительностью
) и нейрон возвращается в пассивное состояние.Времена Т
и  в разных процессорах могут быть весьма различны.
Эти свойства нейронов описываются моделью Фицхью –
Нагумо (упрощенная модель Ходчикиа – Хаксли).
Таким образом, мы используем не современный вариант
теории нейросетей , а промежуточный, близкий к исходному и
более адекватный свойствам реальных нейронов.
2.1. Блоки первичных и типичных образов
В конструкции АМ используется два типа пластин Хопфилда. [11].
Первая, называемая в [10] размытое множество (или пластина
первичных образов), H0, используется для восприятия и записи информации от
различных рецепторных систем. В ней записываются все предъявленные когдалибо образы; связи обучаются согласно правилу Хебба [15] (Сила связей,
исходно слабых, усиливается при повторении предъявляемого образа).
Только после того, как определенный набор связей усиливается вплоть до
некоторого порога («черные» связи), этот образ передается в другую пластину,
называемую пластиной типичных образов, Htyp, которая обучается «по
Хопфилду» (связи, исходно сильные, ослабевают при прохождении сигнала
между разноименными нейронами). В результате чего на ней присутствуют
только «черные» связи.
На языке ландшафта эта пластина имеет четкий и лаконичный ландшафт, с
глубокими лунками и четкими водоразделами, в то время как ландшафт пластины
первичных образов более разнообразен, но не четок и «размыт» (что и послужило поводом
к выбору названия этой пластины).
Свойство ассоциативности образов, присуще любому процессору
Хопфилда. Оно связано с тем, что похожие чем-либо образы имеют общие
нейроны. В размытом множестве H0 ассоциативность приобретает
дополнительный смысл: кроме неизбежных ассоциаций, возникают также и
случайные (побочные) ассоциации.
Схема формирования множества типичных образов
H0 из размытого множества Htyp (в центре) и
варианты динамики связей при обучении
(слева и справа)
«Размыое» множество
• РРазмытое
Типчные образы
Математические модели обучения и функционирования.
Процессоры типа Хопфилда, модель:




N
dH i
1
2
3
 H H i   i H i  1  H i   i , j H i  t  t ;
dt
i
i j
«Потециальная» форма модели:
«Потециал» U – «ландшафт»
dH i
d

U H 1 , H 2 ,...H n ;
dt
dH i
I = 1,2,3 …n;
Обучение связей по Хеббу в «размытом» множестве:
dij (t )
0
H i (t )  1 H j (t )  1  (t )

dt
0


Обучение связей по Хопфилду в «типичном» множестве образов
t
1
 ij (t )   0 {1 
[1  H i (t ' ) H j (t ' )] (t ' )dt ' }

2 0 0
Процессор Гроссберга, модель:
Обучение связей в процессоре Гроссберга:
dΓ k l (t )
Γ
 0 {Gk  Gl (Gk  Gl )}
dt

2.2. Блок преобразования образа в символ
Представлен вариант преобразования образа в символ (и обратно –
декомпозиция) за счет конкуренции нейронов на пластине Гроссберга [12] с
проверкой и подтверждением (ранее обсуждался в [10], см. также [16]).
Типичный образ с пластины Хопфилда I,H по прямым связям передается не
сразу на пластину Гроссберга IV,G, но предусмотрена вставка двух
дополнительных пластин, (условно назовём ее комплексом Back Propagation
(BP). Это пластины Хопфилда II,H и Гроссберга III,G, между которыми существуют
разветвленные и двусторонние межпластинные связи.
Благодаря (BP) процедура формирования символа итерационна.
Пластина II,H предназначена для декомпозиции символа, сформированного в
первой итерации на «пробной» пластине III,G типа Гроссберга.
Каждый нейрон пластины III,G связан с несколькими (но не всеми) нейронами
пластины II,H. По этим связям от символа пластины III,G идут сигналы в обратном
направлении, и на пластине II,H возникает инверсный образ.
Если исходный образ заметно отличается от инверсного (а это — общий
случай), то возникает «фрустрация» [5] и процедура повторяется.
При этом выбирается либо новое положение символа, либо происходит
перезамыкание межпластинных связей, т.е. осуществляется следующая итерация.
Время возбуждения нейронов Т символа и образа должно быть долгим, так, чтобы
межпластинные связи успели обучиться (и переобучиться).
Проверка продолжается, пока отличие исходного образа от инверсного не
станет достаточно малым. Если проверка закончилась успешно, символ
передается по прямым связям на пластину IV,G.
Когда процедуры проверки и коррекции символов, необходимость в BP
отпадает. Тогда блок переносится (копируется) в ЛП, где BP отсутствует и образ
передается по прямым межпластинным связям с I,H на IV,G, т.е. сразу
преобразуется в символ, что показано на рис. 1б.
Преобразование другого образа в символ происходит аналогично. При этом
должно выполняться условие: символ нового образа не должен совпадать с
символом прежнего. Для этого в пластине III G обучаются не только связи, но и
параметры нейронов: в выбранном символе первого образа порог возбуждения
повышается, так, что при формировании второго символа , первый уже не
участвует в конкуренции.
Блок «U» – универсальный модуль, Он может использоваться для
преобразования образов в разных ситуациях и разных сенсорных
системах.
Ранее [13.14] этот блок использовался для описаний аутодиагностической системы.
Оказалось, что он близок к реальному органу –пластинам Рекседа
3. Схема конструкции АМ
Конструкция состоит из двух подсистем, которые мы будем условно называть
логической ЛП (сверху) и интуитивной, или пред-логической ПП (снизу).
Основу ПП составляет размытое множество первичных образов Н0. Оно
играет основную роль в решении творческих задач и разрешении противоречий.
Далее в ПП следует блок формирования символов. Процесс происходит в нескольких блоках типа «U»,
которые соответствуют раздельной обработке информации, поступающей из разных рецепторных систем. Символы,
сформированные в каждой из них, поступают на пластину типа Гроссберга Gint, где формируется общий символ
объекта, который передается на пластину Sint, где запоминается.
В верхней части представлена подсистема ЛП, полный символ
образуется в пластине G0 и тут же передается на пластину S0 и
запоминается.
Схема справа внизу соответствует целесообразной иерархической
классификации. Она состоит из символов. В ней пластина G0 играет
роль пластины типичных образов, но символы сгруппированы не
произвольно, а в соответствии с их принадлежностью какой-либо цели. .
Cимволы более высокого уровня иерархии формируются (или
интегрируются) на основе конкурентной борьбы символов более низкого
уровня.
В. нижней части схемы (ПП) каждый акт интеграции символов
проходит через проверку (блоки ВР).
После того, как интегрирующий символ образовался, он копируется в
ЛП, где блоки проверки уже не нужны.
Отметим, что, процесс интеграции символов может приводить к
проблемам, которые часто называются парадоксами . [17].
В этом случае необходима коррекция содержания самих символов,
т.е. адекватности типичного образа тому объекту, информация о котором
записана в множестве первичных образов Н0.
Иначе говоря, проблемы и парадоксы, возникающие в символьной
подсистеме, могут решаться только в результате обращения к размытому
множеству.
4. Модель обучения речи (с «учителем»).
« Учитель» предъявляет объект, который рецепцируется, например, в
зрительной системе (1) и предстает в виде типичного образа в процессоре I(1).
Одновременно учитель предъявляет название объекта (слово) на
общепринятом в данной соции языке.
Последнее рецептируется слуховой системой (2) и предстает в виде типичного
образа (набора возбужденных нейронов) в процессоре I(2).
На этой стадии «слово» воспринимается не как символ объекта, а как его
признак в слуховой сенсорной системе.
В блоках (1) и (2) информация из зрительной и слуховой систем
обрабатывается независимо и в результате образуются символы зрительного и
слухового образов объекта.
Каждый из них может быть декомпозирован в соответствующий образ.
Прошедшие проверку и подтверждение в блоках BP(1,2), символы
передаются на пластины IV(1) и IV(2). Эти символы различны и ни один из них
не является символом объекта в целом, т.е. эти символы ещё не несут
семантической нагрузки.
В процессоре Gint происходит интеграция символов и возникает единый
символ, несущий признаки как зрительного, так и слухового восприятия. Это
значит, что при возбуждении нейрона – символа в пластине Gint путем рецепции
«слова» этот нейрон может воссоздать зрительный образ объекта, т.е. уже
«имеет смысл». Иначе пластину Gint можно назвать семантической .
В обученном АМ процесс восприятия речи может быть упрощен.
Присутствие «учителя», а также блоков проверки, в обученном АМ уже не
нужны. Предъявляемый объект, или название его («слово») преобразуются в
соответствующие образы, которые сразу переходят в интегральный символ.
Это представлено на схеме сверху в подсистеме ЛП
Помимо восприятия речи, необходимо рассмотреть процесс её
воспроизведения. Без него АМ напоминает немого, потерявшего дар речи,
но сохранившего слух и способность воспринимать и понимать речь
других.
Процесс обучения воспроизведению речи включает эффекторную
систему (язык, голосовые связки и т.п., далее Э) и её обучение.
Речь идет об обучении действию (а не распознаванию), которое было
рассмотрено в [13].
Его можно представить себе следующим образом. На схеме от
интегрального символа на пластине Gint в ПП отходят две стрелки (серого цвета).
Первая () идет вниз к процессору Э воспроизведения речи. На вход Э поступает
сигнал с процессора Gint; после соответствующей обработки этот сигнал приводит
к возбуждению голосовых мышц. В результате возникает звуковой сигнал, который
попадает в сенсорную слуховую систему (2), где преобразуется в образ на
пластине I(2). В общем случае он не совпадает с предыдущим (полученным от
«учителя»). Тем не менее, он обрабатывается аналогично предыдущему и
порождает другой символ на пластине IV(2), который можно рассматривать как
новое название того же объекта (внутренний индивидуальный «язык»;
интегральный символ изображен квадратиком на пластине Gint). Однако, при
настойчивом повторении учителем общепринятого названия в пластине Gint, в силу
свойств процессора Гроссберга, происходит борьба символов «внутреннего языка»
(квадратик) и «языка учителя» (круг). Она является сигналом к повторению и
изменению порядка возбуждения мышц эффекторной системы.
Происходит обучение связей между нейроном-символом и мышцами Э.
Процедура повторяется до тех пор, пока не будет достигнуто
удовлетворительное согласие между названием, сообщенным учителем и
словом, воспринятым по каналу «обратной связи». Тогда вторая серая
стрелка () передает этот символ в ЛП, где формируются связи между
правильным символом-словом и образом объекта во множестве типичных
образов Htyp. После этого можно считать, что данный АМ обучен как
восприятию, так и воспроизведению речи на общепринятом языке и является
полноценным членом данной соции аналогичных АМ.
В обученном АМ, как правило, доминирует ЛП подсистема, в ней речь
воспринимается и в ней же формируется сигнал к её воспроизведению
(минуя ПП подсистему).
5. Заключение
В работе предлагается один из возможных вариантов системы связанных
нейропроцессоров, способной реализовать определенные функции мышления.
Перечислим наиболее важные особенности рассмотренной конструкции.
1. АМ состоит из двух подсистем, условно названных пред-логическая (ПП) и
логическая (ЛП). Первая (ПП) обучается, вторая (ЛП) сохраняет и запоминает
результаты обучения. Такое разделение функций базируется на отработке
элементов в ПП и гипотезе копирования результатов отработки в ЛП.
2. Основой ПП является размытое множество образов — информация обо
всех образах, когда-либо предъявленных системе. Оно плотно, ассоциативно, но
не структурировано. Именно оно играет главную роль в решении творческих задач.
3. Используется итерационный механизм формирования символов,
реализуемый в специальном блоке нейропроцессоров типа Хопфилда и
Гроссберга, который обеспечивает проверку адекватности символа. Структура
блока фактически повторяет структуру пластин Рекседа спинного мозга
[14].
4. Предложенная процедура обучения речи включает обязательное участие
эффекторной системы.
Подчеркнем, что ни используемые предположения, ни выводы не являются
единственно возможными, вполне возможны и другие варианты (см.[4, 18]).
СПАСИБО ЗА ВНИМАНИЕ
Список литературы
1. Penrose R. Shadows of the Mind. Oxford University Press. New Yrok – Oxford. 28. Чернавский Д.С.
Синергетика и информация: Динамическая теория информации. – М.: УРСС, 2004. С. 287.
9. Чернавская О.Д., Чернавский 005. Р. 457
2. Шамис А.С. Пути моделирования мышления. М.: КомКнига, 2006. С. 457
3. Яхно В.Г. Проблемы на пути конструирования симулятора живых систем. Тр. конф. «Нелинейная
динамика в когнитивных исследованиях-2011», с. 246-249.
4. Шумский С.А. Мозг и язык: гипотеза о строении “органа языка”. // Труды конференции
“Нейроинформатика -2012”, Москва – ч. 3. – с. 224-231.
5. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения. – М.: МИФИ, 2008. С. 222.
6. Карп В.П. Интеллектуальный анализ данных в проблеме построения решающих правил классификации
(на примере медицинской диагностики). // Новости искусственного Интеллекта. – 2006. – №2. – С.57.
7. Хакен Г. Информация и самоорганизация. Макроскопический подход к сложным системам. – М.: УРСС,
2005. С. 240.
8. Д.С., Карп В.П., Никитин А.П., Рожило Я.А. Процесс мышления в контексте динамической теории
информации. Часть 1: Цели и задачи мышления. // Сложные системы. – 2012. – №1, c. 25-41.
10. Чернавская О.Д., Чернавский Д.С., Карп В.П., Никитин А.П., Рожило Я.А.
Процесс мышления в контексте динамической теории информации. Часть 2:
Понятия образ и символ как инструменты моделирования процесса мышления
средствами нейрокомпьютинга // Сложные системы. – 2012. – №2 – С. 25-41.
11. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // PNAS. –
1982. – v. 79. – p. 2554.
12. Grossberg S. Studies of Mind and Brain. Boston, Riedel, 1982; Nonlinear neural networks: principles,
mechanisms, and architecture // Neural networks.– 1988.– v.1.– р.17
13. Чернавский Д.С., Карп В.П., Родштат И.В., Никитин А.П., Чернавская Н.М.
Распознавание. Аутодиагностика. Мышление. – М.: Радиотехника, 2004. С. 271.
14. Rexed B. The cytoarchitectonic organization of the spinal cord in the cat //
Journ. Comperative Neurology. – 1952. – v. 96. – N 3. – p. 415-495.
15. Hebb D. O. The organization of behavior: a neuropsychological theory. New
York, 2002. (Оригинальное издание — 1949)
16. Чернавский Д.С. и др. Математическая модель процессора
локализации образа. // Препринт ФИАН. – 2011  № 9. – 19 с.
17. Чернавский Д.С. и др. Процесс мышления в контексте динамической
теории информации. Часть 3: Один из вариантов конструкции
нейропроцессоров для моделирования процесса мышления. // СС. – 2012.
– №2 – С. 25-37.
18. Deacon T.W. Coevolution, devolution, and language. // Proc. of V-th Int.
Conf. on Cognitive Science, Kaliningrad, 18.06-24.08 2012, p. 22.