АКЦЕПТОР РЕЗУЛЬТАТОВ ДЕЙСТВИЯ

Е. Е. ВИТЯЕВ
Институт математики СО РАН г. Новосибирск
E-mail: [email protected]
ОБЪЯСНЕНИЕ ТЕОРИИ ДВИЖЕНИЙ Н.А.БЕРНШТЕЙНА1
Аннотация
«Модель работы функциональной системы», представленная в предыдущей работе, расширяется в данной работе до иерархической модели организации сложных движений и целенаправленных действий. Эта модель с
нашей точки зрения способна объяснить основные черты теории движений Н.А.Бернштейна.
1. Модель работы функциональной системы. На рисунке 1 приведена
модель работы функциональной системы основанная на предыдущей работе [1]. Будем считать, что в некоторый момент времени функциональной системе ставиться цель P0 . Цель ставиться в виде запроса к функцио-
P0
Probability(P0)
АФФЕРЕНТНЫЙ
СИНТЕЗ
Множество PR
закономерностей
⟨Pi1,…,Pik,Ai⟩ → P0
для прогноза
достижения цели P0 в
ситуации Pi1,…,Pik
Pi1,…,Pin
Подцели
Pi1,…,Pim
Ситуация
ПРИНЯТИЕ
РЕШЕНИЯ:
Выбор
действия Ai,
обеспечивающего
максимальную
вероятность
достижения
цели P0.
P0
АКЦЕПТОР
РЕЗУЛЬТАТОВ
ДЕЙСТВИЯ:
Ожидание результата P0
Pi1,…,Pin
P0
Ai
ОЦЕНКА РЕЗУЛЬТАТА
ДЕЙСТВИЯ Ri ≈ P0
Подкрепление/наказание
и уточнение
закономерностей.
Ai1,…,Ain
Ri
Рис 1.
1
Данная работа частично поддержана грантами РГНФ, № 02-03-18307а, РФФИ №
02-07-90355в и NATO collaborative linkage project LST.LCG.979815
нальной системе – достичь цель P0 . На вход функциональной системы
подается также информация об окружающей среде в виде описания ситуации Pi1 ,..., Pim . В процессе афферентного синтеза из памяти извлекается вся информация, связанная с достижением цели P0 . Эта информация
храниться в памяти виде множества закономерностей вида
Pi1 ,..., Pik , Ai → P0 . Поскольку информация об окружающей среде уже
задана в виде описания ситуации Pi1 ,..., Pim еще до постановки цели, то из
памяти автоматически извлекается только та информация, связанная с
достижением цели, которая может быть применена в данной ситуации.
Это достигается использованием (извлечением из памяти) только тех закономерностей, в которых свойства ситуации выполнены, то есть, все
свойства ситуации Pij , которые есть в условии Pi1 ,..., Pik закономерности
должны содержаться в описании ситуации Pi1 ,..., Pim .
Среди условий Pi1 ,..., Pik закономерности содержатся не только свойства ситуации, но и подрезультаты Pi1 ,..., Pin , достижение некоторых необходимо для достижения цели. Достижение подцелей осуществляется отправкой запроса на их достижение вниз по иерархии, что обозначено на
рисунке двойной стрелкой вниз. Эти запросы активируют в функциональных системах более низкого уровня всю информацию связанную с достижением этих подцелей в той же ситуации. Достижение этих подцелей может требовать достижение еще более низких по иерархии целей и т.д. Если какая-то из подцелей не может быть выполнена в данной ситуации (нет
закономерностей предсказывающих достижение подцели в данной ситуации), то в ответ на запрос возвращается отказ и соответствующая закономерность исключается из рассмотрения.
Активация закономерностей Pi1 ,..., Pik , Ai → P0 в блоке афферентного
синтеза автоматически извлекает из памяти тот набор действий Ai , включая действия требуемые для достижения подцелей, которые могут привести к достижению цели P0 . Весь этот набор действий вместе с оценками
условных вероятностей достижения цели и подцелей передается в блок
принятия решений. Блок принятия решений просматривает все действия
Ai вместе с активирующими их закономерностями Pi1 ,..., Pik , Ai → P0 и
иерархией подцелей и соответствующих действий и выбирает такое действие, которое с учетом вероятностей выполнения подцелей дает макси-
мальную оценку вероятности достижения цели. Далее действие Ai и все
действия, необходимые для достижения подцелей запускаются на выполнение. В начальной стадии обучения, когда еще нет правил, либо нет ни
одного правила применимого в данной ситуации, действие соответствующей функциональной системы выбирается случайным образом и прогноз отсутствует.
Прогноз ожидаемого результата P0 и всех подрезультатов для всех
подцелей отправляется в акцептор результатов действий. Кроме того, во
всех функциональных подсистемах более нижнего уровня прогноз подрезультатов также отправляется в акцептор результатов действия соответствующих подсистем.
Данные о полученном результате Ri поступают в акцептор результатов действий в блок оценки результата. Проводится сравнение спрогнозированного и полученного результатов. В случае совпадения прогноза и
результата с заданной степенью точностью закономерность выбранная в
блоке принятия решений подкрепляется, в противном случае, наказывается. Закрепление/наказание состоит в увеличении/уменьшении условной
вероятности закономерности. Кроме того, после каждого действия производится уточнение набора правил, как описано в [1]. Если после уточнения, для данного состояния находится закономерность, с условной вероятностью больше чем у закономерности, использованной ранее, то тогда
новая закономерность будет использоваться для прогноза и принятия решения.
Семантический вероятностный вывод [2] позволяет найти набор PR закономерностей вида Pi1 & ... & Pik & Ai → P0 , с максимальной условной
вероятностью предсказывающих результат P0 действия Ai в состоянии
P1 ,..., Pk .
2. Основные свойства теории движений Н.А.Бернштейна [3]. Известно [3], что число степеней свободы кинематической системы человека
при ходьбе более 30. В настоящее время не существует математического
аппарата с помощью которого можно было бы решать системы уравнений
для кинематических систем с таким количеством переменных. Более того,
человек управляет своим телом в условиях, когда значения многих переменных неизвестны. В работах Н.А.Бернштейна убедительно показывается, что объяснить организацию движений можно только на основе особого механизма обучения и учета афферентной информации: «координация
есть не какая-то особая точность или тонкость эффекторных нервных им-
пульсов, а особая группа физиологических механизмов, создающих непрерывное организованное циклическое взаимодействие между рецепторным и эффекторным процессом» [3]. Такое взаимодействие описывается в
работах Н.А.Бернштейна рефлекторным кольцом, свойства которого учтены в модели функциональной системы рис.1.
В работах Н.А.Бернштейна исследована также многоуровневая организация движений. Приведем цитаты из работ [3], относящиеся к описанию
уровней организации движений:
I. "Движения уровня С пространственного поля имеют прежде всего ясно выраженный целевой характер они ведут "откуда–то" "куда-то" и
"зачем-то";
II. "Ведущая афферентация уровня действий D (следующем за С) есть
предмет. … Ведущим мотивом на уровне действий является не предмет сам по себе, как геометрическая форма, как нечто с определенной
массой, консистенцией и т.п. … , а смысловая сторона действий с
предметом …";
III. “Движения в уровне предметного действия (D) представляют собой
смысловые акты, т.е. это не столько движения, сколько уже элементарные поступки, определяемые смыслом поставленной задачи.”
С нашей точки зрения многоуровневая организация движений определяется автоматическим образованием в процессе обучения нескольких
пространств целей и результатов.
3. Пространства целей и результатов. Расширим понятие результата
введя так чтобы он мог автоматически формироваться в процессе работы
в сложной вероятностной среде:
a) результат должен обладать свойством ветвления: если получен некоторый результат, то дальнейшие действия могут определяются неоднозначно;
b) результат должен содержать набор признаков, которые определяют,
что цель цепочки действий достигнута и можно переходить к одной
из следующих цепочек действий, т.е. результат - это фиксация законченности действия, обеспечивающая возможность осуществления некоторого следующего действия.
Представим схему функциональной системы более схематично рис. 2,
и приведем два уровня функциональных систем. Покажем как с помощью
закономерностей могут автоматически формироваться цели и подцели.
Условие а) определения результата естественным образом улавливается закономерностями, так как закономерности хорошо прогнозируют результат последовательности некоторых элементарных действий (данного
Афферентация
Pi1,…,Pim⊂
{Pi1,…,Pik}
Запрос на
достижение
Цели P0
АФФЕРЕНТНЫЙ
СИНТЕЗ и ПРИНЯТИЕ РЕШЕНИЙ
Выбор действий
Ai = ⟨Ai1,…,Ain⟩
и подцелей Pi1,…,Pin
⊂ {Pi1,…,Pik}, обеспечивающих максимальную вероятность
достижения цели P0
по закономерностям
⟨Pi1,…,Pik, Ai⟩ → P0
Вероятность
достижения
цели P0
АКЦЕПТОР
РЕЗУЛЬТАТОВ ДЕЙСТВИЙ
Прогноз
достижения цели
P0 при
Ожидание
результата P0
и подрезультатов Pi1,…,Pin
выполнении действия Ai
P1
P2
P1
P3
P4
P2
P3
АФФ
Синт.
Прин.
Реш.
A1
АК
Рез.
Дей
ств
ий
R1
АФФ
Синт.
Прин.
Реш.
A2
АК
Рез.
Дей
ств
ий
P4
АФФ
Синт.
Прин.
Реш.
R2
Афферентация
A3
АК
Рез.
Дей
ств
ий
R3
АФФ
Синт.
Прин.
Реш.
A4
АК
Рез.
Дей
ств
ий
R4
Рис. 2
уровня), если эта последовательность действий «стандартна», то есть начавшись она продолжается до некоторого результата без изменений. В
этом случае с большой вероятностью закономерности прогнозируют выполнение этой цепочки действий до получения результата. На рис. 2 это
действия A1, A2, A3, A4 приводящие к результатам R1, R2, R3, R4. Акцептор
результатов действия сличает результаты R1, R2, R3, R4 с предсказанными
по закономерностям и, в случае совпадения, выдает ответы P1, P2, P3, P4
на запросы P1, P2, P3, P4. Ответы о достижении цели передаются на входы
других блоков (стрелки от акцепторов результатов действий вниз к следующим блокам). Эти ответы автоматически будут включаться в условия
закономерностей последующих действия, так как сигнал о том, что предыдущее действие завершено, увеличивает вероятность завершения последующего действия. По определению семантического вероятностного
вывода [2] любой сигнал, увеличивающий вероятность прогноза, автома-
тически включается в условие закономерности.
Условие b) также выполнено, так как сигналы от обратной афферентации, свидетельствующие о действительном завершении предыдущего
действия, увеличивают вероятность достижения результата следующего
действия. Более детально, на нейронном уровне, процесс автоматического
формирования целей и подцелей описан в [4].
Объясним, почему цепочки действий выстраиваются в пространство
целей и результатов некоторого уровня (С, D,…). Стандартные цепочки
действий A1, A2, A3, A4 заканчиваются некоторым результатом, после которого действие может продолжаться по-разному. Тогда дальнейшее действие не может быть предсказано по закономерностям. Формирование
более сложного действия определяется на более высоком уровне в соответствии с более сложными смыслами действий.
Результаты цепочек действий некоторого уровня определяют язык, отражающий единицы действий этого уровня. Этот язык замкнут, так как
«смыслы» должны быть стыкуемы между собой, чтобы можно было осуществлять сложные действия. Язык каждого уровня дает пространство
целей и результатов соответствующего уровня.
Действия более высокого уровня являются комбинацией действий более низкого уровня для достижения более сложных целей, имеющих другой смысл. На более высоком уровне формируются цели, которые используют более богатую обратную афферентацию и которые поэтому нельзя
сформулировать на более низком уровне. Например, на уровне синергий
пространством целей и результатов являются движения тела и обратной
афферентацией импульсация от мышц; на уровне С «пространственного
поля» пространством целей и результатов является внешнее пространство,
а обратной афферентацией восприятие окружающего мира; на уровне D
предметного действия пространством целей и результатов является оперирование с предметами, а обратной афферентацией – смыслы оперирования предметами.
Список литературы
1.
2.
3.
4.
5.
Михиенко Е.В., Витяев Е.Е. Моделирование работы функциональной системы, VI Всероссийская научно-техническая конференция «Нейроинформатика-2004». Сборник научных трудов. В 2-х частях. Ч.2., М.: МИФИ, 2004, 124-129.
Витяев Е.Е. Семантический подход к созданию баз знаний. Семантический вероятностный вывод // Выч. системы, Новосибирск, 1992, вып.146, с. 19-49
Бернштейн Н.А. Биомеханика и физиология движений. // Избранные психологические
труды, Москва-Воронеж, 1997, с.605
Витяев Е.Е. Формальная модель работы мозга, основанная на принципе предсказания //
Модели Когнитивных Процессов. (Выч. системы, 164), Новосибирск, 1998, стр. 3-61.
Scientific Discovery: http://www.math.nsc.ru/LBRT/logic/vityaev