Document 956836

ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
Д.С. ЧЕРНАВСКИЙ, В.П. КАРП, А.П. НИКИТИН,
О.Д. ЧЕРНАВСКАЯ
Физический институт им. П.Н. Лебедева РАН, Москва
DSChernavskii@gmail.com
ОДИН ИЗ ВАРИАНТОВ КОНСТРУКЦИИ АППАРАТА МЫШЛЕНИЯ И МОДЕЛЬ ОБУЧЕНИЯ РЕЧИ
Рассматривается одна из возможных схем нейропроцессорной конструкции, способной решать задачи, традиционно относимые к мышлению и творчеству. Основу ее составляет блок нейропроцессоров, архитектура которого повторяет строение одного из органов системы спинного
мозга (пластины Рекседа). В рамках такой схемы моделируется процесс
обучения речи.
Ключевые слова: мышление, нейропроцессор, самоорганизация, символ, обучение, эффекторная система
Введение
В настоящее время интерес к проблеме искусственного интеллекта
вновь переживает несомненный подъем, на сей раз в духе синергетического подхода (см. [1-4] и ссылки там же). Единого направления еще не
выработано, но существуют определенные «пути моделирования мышления». Настоящая работа лежит в русле так называемого «естественноконструктивистского» подхода, базирующегося на нейрокомпьютинге
(см. [5] и ссылки там же), теории распознавания (см. [6] и ссылки там же)
и динамической теории информации (ДТИ, см. [7,8]).
В работе [9] было исследованы основные принципы процесса мышления с позиций ДТИ и было предложено определение мышления как самоорганизующегося процесса записи (восприятия), сохранения, обработки, а также генерации и распространения новой информации без
вмешательства извне.
В работе [10] анализировалась возможность реализации перечисленных задач мышления средствами известных нейропроцессоров и рассматривались общие принципы построения «мыслительной системы», состоящей из нейропроцессоров разного типа. Было показано, что задачи записи и сохранения информации дуальны (т.е. дополнительны и, в определенном смысле, противоречивы), следовательно, для их осуществления
принципиально необходимы две разные подсистемы, функции которых
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
могут исполнять две пластины Хопфилдовского [11] типа. Нейропроцессоры типа Гроссберга [12] играют ведущую роль в формировании символьной (кодовой) информация, которая является прообразом условной
информации и необходима для координации работы всей системы. Конкретные схемы построения мыслительной системы в публикациях [9,10]
не рассматривались.
Цель данной работы — рассмотреть один из возможных вариантов искусственной конструкции (далее АМ — аппарат мышления), способной
решать основные задачи мышления. Ранее, в работе [13] была предложена
схема из связанных нейропроцессоров для решения задач аутодиагностики, т.е. самостоятельного распознавания заболеваний и постановки диагноза. При сопоставлении ее структуры с реальным органом (пластины
Рекседа спинного мозга [14]) было обнаружено удивительное сходство.
Ниже мы покажем, что подобная схема может быть положена в основу
структуры АМ.
Подчеркнем, что речь пойдет именно об искусственной конструкции
АМ, т.е. на моделирование во всей полноте мыслительного процесса человека мы не претендуем, хотя и используем ряд соответствующих аналогий. В этой связи проблема интуитивного и логического мышления будет
трактоваться следующим образом: следуя строгой аристотелевой двоичной логике, условимся называть имитацией логического мышления совокупность детерминированных алгоритмов, которые при одинаковых
входных данных приводят к однозначному результату. Те элементы искусственной конструкции, которые включают фактор случайности (недетерминированности) будем рассматривать как инструмент имитации
интуитивного мышления.
Блоки нейропроцессоров как основные элементы АМ
Согласно поставленной цели конструкция АМ будет строиться из
нейропроцессоров нескольких типов. В работе [10] известные варианты
нейропроцессоров обсуждались весьма подробно, поэтому здесь мы кратко перечислим их основные свойства, в той мере, насколько это необходимо для настоящего изложения.
Нейропроцессором будем называть пластину, населенную формальными нейронами общим числом n и взаимодействующую с другими
нейропроцессорами. Под формальным нейроном понимается бистабильный элемент, который может существовать стационарно в активном (+1),
либо в пассивном (–1 или 0) состояниях. Число связей N оценивается как
1 << N << n(n–1), т.е. принимается, что каждый из n нейронов связан со
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
многими, но не всеми нейронами своей пластины. Аналогичное ограничение вводится и для межпластинных связей. Связи между нейронами формируются в процессе обучения, причем закон обучения зависит от той
функции, которую процессор должен выполнять.
Блок первичных и типичных образов. Изначально процессор Хопфилда был предложен именно как инструмент распознавания. Эта цель
достигается за счет специального обучения связей по принципу «отсечения ненужного»: все связи изначально считаются одинаково сильными; по
мере обучения связи между нейронами, составляющими данный образ, и
всеми остальными нейронами пластины слабеют. Вследствие этого, хорошо обученный процессор данного типа, имеющий несколько записанных образов, воспринимает каждый предъявленный образ как один из
известных: если он не сильно отличается, то «неправильные» нейроны
переводятся в «нужное» состояние. Если же отличие слишком велико, то
возникает так называемая фрустрация (см. [5]), или отказ от распознавания. Из сказанного ясно, что обученный таким образом процессор не способен воспринимать новые образы.
Для записи (восприятия) новых образов мы будем использовать процессор также Хопфилдовского типа, где закон обучения связей соответствует известному в нейрофизиологии правилу Хебба [15]: сила связей
(изначально равно слабых) увеличивается по мере активности предъявления данного образа.
Таким образом, в конструкции АМ используется два типа пластин
Хопфилда. Первая, называемая в [10] размытое множество (или пластина первичных образов), H0, используется для восприятия и записи
информации от различных рецепторных систем. В ней записываются все
предъявленные когда-либо образы; связи обучаются согласно правилу
Хебба. Только после того, как определенный набор связей усиливается
вплоть до некоторого порога («черные» связи), этот образ передается в
другую пластину, называемую пластиной типичных образов, Htyp, которая обучается именно «по Хопфилду», в результате чего на ней присутствуют только «черные» связи. На языке ландшафта эта пластина имеет
четкий и лаконичный ландшафт, с глубокими лунками и четкими водоразделами, в то время как ландшафт пластины первичных образов более
разнообразен, но нечеток и «размыт» (что и послужило поводом к выбору
названия этой пластины).
Отметим, что свойство ассоциативности образов, имманентно присущее любому процессору Хопфилда (независимо от принципа обучения
его связей), связано с тем, что похожие чем-либо образы имеют общие
нейроны. В размытом множестве H0 ассоциативность приобретает допол-
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
нительный смысл: кроме неизбежных ассоциаций, связанных с реальным
сходством объектов, возникают также и случайные (побочные)  в том
случае, когда общими оказываются нейроны, не принадлежащие типичным образам, но связанные с ними «серыми» связями.
Блок преобразования образа в символ. Процесс формирования символа типичного образа подробно рассматривался в работе [10]. Было показано, что локализация образа возможна на пластине Гроссберговского
типа благодаря конкуренции нейронов, т.е. нелинейному подавляющему
взаимодействию внутри пластины (см. также [16]). В конструкции АМ мы
будем использовать один из возможных вариантов реализации такого
процесса, а именно  образование символа за счет конкуренции на пластине Гроссберга с последующей проверкой, (этот вариант подробно рассматривался в работе [17]).
Схема формирования символа с проверкой представлена на рис. 1.
Здесь типичный образ с пластины Хопфилда I,H по прямым связям передается не сразу на пластину Гроссберга IV,G, но предусмотрена специальная вставка двух дополнительных пластин, часто называемых комплексом Back Propagation (BP). Это пластины Хопфилда II,H и Гроссберга III,G, между которыми существуют разветвленные и двусторонние
межпластинные связи. Особенность такой конструкции в том, что процедура формирования символа итерационна.
Рис. 1. Схема формирования символа изолированного образа
с проверкой (а) и без проверки (б)
Пластина II,H предназначена для декомпозиции символа, сформированного в первой итерации на «пробной» пластине III,G типа Гроссберга.
Каждый нейрон пластины III,G связан с несколькими (но не со всеми)
нейронами пластины II,H. По этим связям от символа пластины III,G
идут сигналы в обратном направлении, и на пластине II,H возникает инверсный образ. Если исходный образ заметно отличается от инверсного (а
это — общий случай), то процедура повторяется. При этом выбирается
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
новое положение символа, т.е. осуществляется следующая итерация. Проверка продолжается, пока отличие исходного образа от инверсного не
станет достаточно малым. Если проверка закончилась успешно, символ
передается по прямым связям на пластину IV,G.
Когда процедуры проверки и коррекции как символов, так и образов
отработаны, необходимость в BP отпадает. Тогда образ сразу передается
по прямым межпластинным связям с I,H на IV,G, что показано на рис. 1б.
После того, как символ на пластине Гроссберга сформирован, он должен быть встроен как в иерархическую структуру классификации символов, так и в другие, не только иерархические отношения. Иными словами,
конкурентное взаимодействие для нейронов, уже ставших символами,
теряет смысл, а возникает необходимость в новых связях. Эта проблема
может быть решена одним из двух способов:
1) сформированные связи символ  образ оказывают параметрическое
влияние на сам символ, выводя его их конкурентной борьбы (см. [10]).
2) каждая пластина типа Гроссберга (G) сопровождается пластиной
типа Хопфилда (S), формальные нейроны которой уже являются символами. Сформировавшиеся символы передаются (прямыми межпластинными связями) на соседнюю пластину S, где они запоминаются и устанавливают между собой связи по принципу Хебба.
Ниже мы будем использовать второй вариант.
Схема конструкции АМ
Схема конструкции из нейропроцессоров, составляющих АМ, представлена на рис. 2. Система состоит из двух подсистем, которые мы будем
условно называть логической ЛП (сверху) и интуитивной, или предлогической ПП (снизу).
Основу ПП составляет размытое множество первичных образов Н0.
Именно богатство ассоциаций, причем индивидуальных и «побочных»,
позволяет системе решать творческие задачи и разрешать противоречия.
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
Рис. 2. Схема конструкции АМ
Далее в ПП следует блок формирования символов. Процесс происходит в нескольких блоках типа «U» (рассмотренного выше), которые соответствуют раздельной обработке информации, поступающей из разных
рецепторных систем (именно так работают пластины Рекседа; на рис. 2
представлены блоки из двух систем). Символы, сформированные в каждой из них, поступают на пластину типа Гроссберга Gint, где формируется
общий символ данного образа. После этого он передается на пластину
Sint, где запоминается. Затем он передается на пластины G0(S0) в подсистеме ЛП (верхняя часть схемы), где формируются связи символ образ
с пластиной типичных образов Htyp. На рис. 2 подробно представлен процесс формирования символа и связей символобраз только для одного
образа (квадратик), остальные символы (кружки) на пластинах G0(S0)
формируются аналогично.
Второй блок на рис. 2 соответствует построению иерархической классификации. Для этого сначала формируется целевое множество символов — пластина Gp(Sp), на которой символы расположены не произвольно, а сгруппированы в соответствии с их принадлежностью какой-либо
цели. Далее в каждом целевом домене выстраивается иерархия символов.
Подчеркнем, что в данной схеме символы более высокого уровня иерархии формируются (или интегрируются) на основе конкурентной борьбы
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
символов более низкого уровня. В этой связи в нижней части схемы (ПП)
каждый акт интеграции символов проходит через проверку (блоки ВР).
После того, как интегрирующий символ образовался, он копируется в ЛП,
где блоки проверки уже не нужны.
Отметим, что, как и в случае формирования символа типичного образа,
процесс интеграции символов может приводить к проблемам, которые
часто называются парадоксами (что обсуждалось подробно в [17]). В этом
случае необходима коррекция содержания самих символов, т.е. адекватности типичного образа тому объекту, информация о котором записана в
множестве первичных образов Н0. Иначе говоря, проблемы и парадоксы,
возникающие в символьной подсистеме, могут решаться только в результате обращения к размытому множеству.
Модель обучения речи
Обучение речи можно проиллюстрировать следующим образом (рис.
3). «Учитель» представлен прямоугольником слева. Он предъявляет объект, который рецептируется, например, в зрительной системе (1) и предстает в виде типичного образа в процессоре I(1). Одновременно учитель
предъявляет название объекта (слово) на общепринятом в данной соции
языке. Последнее рецептируется слуховой системой (2) и предстает в виде
типичного образа (набора возбужденных нейронов) в процессоре I(2). На
этой стадии «слово» воспринимается не как символ объекта, а как его
признак в слуховой сенсорной системе.
В блоках (1) и (2) информация из зрительной и слуховой систем обрабатывается независимо и в результате образуются символы зрительного и
слухового образов объекта. Каждый из них может быть декомпозирован в
соответствующий образ. Прошедшие проверку и подтверждение в блоках
BP(1,2), символы передаются на пластины IV(1) и IV(2). Эти символы
различны и ни один из них не является символом объекта в целом, т.е. эти
символы ещё не несут семантической нагрузки.
В процессоре Gint происходит интеграция символов и возникает единый символ, несущий признаки как зрительного, так и слухового восприятия. Это значит, что при возбуждении нейрона – символа в пластине Gint
путем рецепции «слова» этот нейрон может воссоздать зрительный образ
объекта, т.е. уже «имеет смысл».
В обученном АМ процесс восприятия речи может быть упрощен. Присутствие «учителя», а также блоков проверки, в обученном АМ уже не
нужны. Предъявляемый объект, или название его («слово») преобразуют-
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
ся в соответствующие образы, которые сразу переходят в интегральный
символ. Это представлено на схеме сверху.
Рис. 3. Подсистема обучения речи
Помимо восприятия речи, необходимо рассмотреть процесс её воспроизведения. Без него АМ напоминает немого, потерявшего дар речи (например, по причине удаления языка), но сохранившего слух и способность воспринимать и понимать речь других. Процесс обучения воспроизведению речи обязательно включает эффекторную систему (язык, голосовые связки и т.п., далее Э) и её обучение. Речь идет об обучении действию (а не распознаванию), которое было рассмотрено в [13].
Его можно представить себе следующим образом. На схеме от интегрального символа на пластине Gint в ПП отходят две стрелки (серого цвета). Первая () идет вниз к процессору Э воспроизведения речи. На вход Э
поступает сигнал с процессора Gint; после соответствующей обработки
этот сигнал приводит к возбуждению голосовых мышц. В результате возникает звуковой сигнал, который попадает в сенсорную слуховую систему (2), где преобразуется в образ на пластине I(2). В общем случае он не
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
совпадает с предыдущим (полученным от «учителя»). Тем не менее, он
обрабатывается аналогично предыдущему и порождает другой символ на
пластине IV(2), который можно рассматривать как новое название того же
объекта (внутренний индивидуальный «язык»; интегральный символ
изображен квадратиком на пластине Gint). Однако, при настойчивом повторении учителем общепринятого названия в пластине Gint, в силу
свойств процессора Гроссберга, происходит борьба символов «внутреннего языка» (квадратик) и «языка учителя» (круг). Она является сигналом к
повторению и изменению порядка возбуждения мышц Э. Происходит
обучение связей между нейроном-символом и мышцами Э. Процедура
повторяется до тех пор, пока не будет достигнуто удовлетворительное
согласие между названием, сообщенным учителем и словом, воспринятым
по каналу «обратной связи». Тогда вторая серая стрелка () передает этот
символ в ЛП, где формируются связи между правильным символомсловом и образом объекта во множестве типичных образов Htyp. После
этого можно считать, что данный АМ обучен как восприятию, так и воспроизведению речи на общепринятом языке и является полноценным
членом данной соции аналогичных АМ.
В обученном АМ, как правило, доминирует ЛП подсистема, в ней речь
воспринимается и в ней же формируется сигнал к её воспроизведению
(минуя ПП подсистему).
Заключение
В работе предлагается один из возможных вариантов системы связанных нейропроцессоров, способной реализовать определенные функции
мышления. Перечислим наиболее важные особенности рассмотренной
конструкции.
1. АМ состоит из двух подсистем, условно названных пред-логическая
(ПП) и логическая (ЛП). Первая (ПП) обучается, вторая (ЛП) сохраняет
и запоминает результаты обучения. Такое разделение функций базируется на отработке элементов в ПП и гипотезе копирования результатов отработки в ЛП.
2. Основой ПП является размытое множество образов — информация обо всех образах, когда-либо предъявленных системе. Оно плотно,
ассоциативно, но не структурировано.
3. Используется итерационный механизм формирования символов,
реализуемый в специальном блоке нейропроцессоров типа Хопфилда и
Гроссберга, который обеспечивает проверку адекватности символа.
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
Структура блока фактически повторяет структуру пластин Рекседа спинного мозга [14].
4. Предложенная процедура обучения речи включает обязательное
участие эффекторной системы.
Подчеркнем, что ни используемые предположения, ни выводы не являются единственно возможными. Так, подход к проблеме обучения речи
согласуется с выводами [18], но отличается от других подходов, известных в литературе (например, [4]). Это обстоятельство не умаляет достоинств ни одного из предлагаемых подходов.
Список литературы
1. Penrose R. Shadows of the Mind.// Oxford University Press. New Yrok–
Oxford, 2005. Р. 457.
2. Шамис А.С. Пути моделирования мышления. М.: КомКнига, 2006.
С. 457.
3. Яхно В.Г. Проблемы на пути конструирования симулятора живых
систем. //Тр. конф. «Нелинейная динамика в когнитивных исследованиях2011». С. 246-249.
4. Шумский С.А. Мозг и язык: гипотеза о строении «органа языка».
//Тр. конфер. «Нейроинформатика -2012». Ч. 3. М.: НИЯУ МИФИ, 2012.
С. 224-231.
5. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения. М.:
МИФИ, 2008. С. 222.
6. Карп В.П. Интеллектуальный анализ данных в проблеме построения
решающих правил классификации (на примере медицинской диагностики). // Новости искусственного Интеллекта, 2006. № 2. С.57.
7. Хакен Г. Информация и самоорганизация. Макроскопический подход к сложным системам. М.: УРСС, 2005. С. 240.
8. Чернавский Д.С. Синергетика и информация: Динамическая теория
информации. М.: УРСС, 2004. С. 287.
9. Чернавская О.Д., Чернавский Д.С., Карп В.П., Никитин А.П., Рожило Я.А. Процесс мышления в контексте динамической теории информации. Часть 1: Цели и задачи мышления. // Сложные системы, 2012. №1. С.
25-41.
10. Чернавская О.Д., Чернавский Д.С., Карп В.П., Никитин А.П., Рожило Я.А. Процесс мышления в контексте динамической теории информации. Ч. 2: Понятия образ и символ как инструменты моделирования
процесса мышления средствами нейрокомпьютинга // Сложные системы,
2012. № 2. С. 25-41.
ISBN 978-5-7262-1773-4 НЕЙРОИНФОРМАТИКА-2013. Часть 1
11. Hopfield J.J. Neural networks and physical systems with emergent
collective computational abilities // PNAS, 1982. V. 79. Р. 2554.
12. Grossberg S. Studies of Mind and Brain. Boston, Riedel, 1982;
Nonlinear neural networks: principles, mechanisms, and architecture // Neural
networks, 1988. V.1. Р.17.
13. Чернавский Д.С., Карп В.П., Родштат И.В., Никитин А.П., Чернавская Н.М. Распознавание. Аутодиагностика. Мышление. М.: Радиотехника, 2004. С. 271.
14. Rexed B. The cytoarchitectonic organization of the spinal cord in the cat
// Journ. Comperative Neurology, 1952. V. 96. № 3. Р. 415-495.
15. Hebb D. O. The organization of behavior: a neuropsychological theory.
New York, 2002. (Оригинальное издание – 1949 г.)
16. Чернавский Д.С. и др. Математическая модель процессора локализации образа. Препринт ФИАН, 2011. № 9.
17. Чернавский Д.С. и др. Процесс мышления в контексте динамической теории информации. Ч. 3: Один из вариантов конструкции нейропроцессоров для моделирования процесса мышления. // СС., 2012. №2.
С. 25-37.
18. Deacon T.W. Coevolution, devolution, and language. // Proc. of V-th
Int. Conf. on Cognitive Science, Kaliningrad, 18.06-24.08.2012. Р. 22.