Метод построения эффективной системы обработки

ISBN 978-5-7262-1782-6
НЕЙРОИНФОРМАТИКА-2013. Часть 3
Е.А. ЭНГЕЛЬ
Хакасский государственный университет имени Н. Ф. Катанова, Абакан
[email protected]
МЕТОД ПОСТРОЕНИЯ ЭФФЕКТИВНОЙ СИСТЕМЫ
ОБРАБОТКИ ИНФОРМАЦИИ НА ОСНОВЕ
НЕЧЕТКО-ВОЗМОЖНОСТНОГО АЛГОРИТМА
В статье описан метод построения эффективной модели систем обработки информации в условиях неопределенности с использованием разработанного автором нечетко-возможностного алгоритма, позволяющего
гибко учитывать в обобщенном системном показателе нелинейный характер влияния частных показателей на основе нечеткой меры и нечеткого
интеграла. Используя предложенный метод, была решена задача Yale.
Ключевые слова: эффективная система обработки информации, нечеткая мера, нечеткий интеграл, комитет нейросетей
Введение
Основные особенности и соответствующие проблемы при решении
слабоформализованных задач связанны с учетом следующих факторов
неопределенности и неполноты информации [1]:
1. Пространства входных и выходных переменных не могут, в общем
случае, содержать все параметры, существенные для описания поведения
системы. Эффект опущенных (скрытых) входных параметров может
нарушать однозначность моделируемой функции.
2. В данных всегда присутствуют ошибки разной природы, шум, а
также противоречия отдельных измерений друг другу.
3. Экспериментальные данные могут содержать пропущенные значения (например, вследствие потери информации и т.п.).
Таким образом, решение слабо формализованной задачи сопряжено с
формированием эффективной системы обработки информации в условиях
неопределенности, что в рамках существующих методов генерации эффективных моделей [2, 3] актуализирует две последовательные задачи:
1. расчета обобщенного показателя эффективности модели обработки
информации на основе частных критериев с целью выбора наиболее эффективной модели для решения задачи;
2. выработки обобщенного решения комитета моделей обработки инУДК 004.032.26(08) Нейронные сети
139
ISBN 978-5-7262-1782-6
НЕЙРОИНФОРМАТИКА-2013. Часть 3
формации с учетом обобщенных критериев эффективности моделей комитета, полученных в результате решения первой задачи.
Традиционный путь учета факторов неопределенности на основе вероятностного и статистического моделирования в ряде ситуаций может оказаться неадекватным решаемым задачам и привести к неверным результатам. Для решения указанных задач 1 и 2, относящихся к области принятия
решений в условиях неопределенности, разработан алгоритм, формализующий многокритериальную неопределенность на базе нечетковозможностного подхода до процедуры расчета и последующего выбора
обобщенного показателя на основе частных.
Преимущества теории возможностей, основанной на идее нечеткого
множества, заключается в том, что она позволяет количественно описывать суждения, характеризовать неопределенность и моделировать неточность при решении задач 1 и 2.
Формализация задачи оценки эффективности модели
обработки информации
Характерной особенностью задачи выбора эффективной модели системы обработки информации, является наличие нескольких альтернативных настроенных моделей Ġi, i  1..q , во множестве реализуемых моделей
решения слабо формализованной задачи – Q (Ġi  Q), из которых надо
выбрать наилучшую. В рамках существующих стратегий формирования
эффективных систем обработки информации остается актуальным вопрос
выбора наиболее эффективных моделей из множества сгенерированных.
Общий показатель эффективности r1i для каждой модели обработки
информации Ġi представим в виде иерархии k частных показателей эффективности r1i ={fl(gi) | l = 1, 2, …, k}, где gi  RN структурные, конструктивные и другие характеристики модели Ġi (сложность, робастность, корректность и др.), отражающие меру соответствия между настроенной моделью Ġi и реальной системой в информационном аспекте (в данной статье рассматривается мера близости модельного выхода y’ к системному y).
Набор fl(gi), l =1, 2, …, k частных показателей эффективности формируется в зависти от особенностей модели Ġi и решаемой ею задачи. Базовыми частными показателями эффективности моделей, обучаемых с учителем на основе выборок данных, являются эффективности обобщения и
обучения в различных формах и комбинациях, зависящих от особенностей модели Ġi и решаемой ею задачи, например: доля правильно прогнозируемых примеров выборки, величина, обратная максимальной ошибке:
140
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1782-6
НЕЙРОИНФОРМАТИКА-2013. Часть 3
f2(gi) = 1/max||y-y’||.
(1)
Частные показатели эффективности fl(gi) зависят от различных структурных, конструктивных и других характеристик модели Ġi (сложность,
робастность, корректность и др.) и от влияния неизвестных факторов .
Поскольку неопределенность различного рода присутствует при построении моделей решения слабо формализованных задач обработки информации, имеется значительная неопределенность в возможностях достижения характеристик настроенной модели. Следовательно, целесообразно
задать атрибуты настроенной модели Ġi системы обработки информации
– gi  RN в виде нечетких множеств Gi = (gi, (gi)). Тогда частные показатели эффективности fl(g) представляют нечеткие события Q→R(Y1l):
f l ( gi )  Y1l – нечеткие множества
G i  Q ; l = 1, 2, …, k;
fl(gi) = (F1l,  fl ( gi ) ( F1l)),
(2)
где F1l  Y1l – значения показателя fl(g i),  fl ( gi ) – функция принадлежности, при этом  fl ( gi ) ( F1l) интерпретируется как возможность того, что
показатель эффективности fl(g i) примет значение F1l для модели Ġi. Таким образом, F1 – матрица размерности k*q.
Задача оценки эффективности модели обработки информации состоит
в расчете обобщенного показателя эффективности r1i настроенной модели Ġi, представляет собой некоторую операцию над нечеткими событиями
r1i = H(f1(gi), f2(gi), …, fk(gi)) с другой, где fl(gi) нечеткое множество вида
(2).
Важность каждой компоненты критерия fl(g) характеризуется коэффициентом приоритета w1l, совокупность которых составляет систему приоритета. Зададим коэффициенты важности w1l каждого из k частных показателей эффективности, совокупность которых составляет вектор приоритета
w1 ={w1l | l = 1, 2, …, k}.
(3)
Существуют разные методы определения w1l, например, метод энтропии, также веса может назначить эксперт.
Формализация задачи выработки обобщенного решения комитета
моделей обработки информации
Для задачи классификации на q классов модельный выход yl кодируется как качественный признак, т.е. представляет собой вектор yli,
i  1..q .Для задачи регрессии q=1. Общий результат r2i обработки инфорУДК 004.032.26(08) Нейронные сети
141
ISBN 978-5-7262-1782-6
НЕЙРОИНФОРМАТИКА-2013. Часть 3
мации системы, состоящей из нескольких моделей решения задачи Ġl
представим в виде иерархии k частных результатов yli обработки информации
r2i ={yli | l = 1, 2, …, k}.
(4)
Характерной особенностью задачи выработки обобщенного решения
комитета моделей обработки информации, является наличие нескольких
эффективных моделей Ġi, i  1..l , во множестве реализуемых моделей
решения слабо формализованной задачи – Q (Ġi  Q), на основе которых
принимается коллективное решение. Выход системы моделей зависит от
выходов составляющих ее моделей. Частные результаты обработки информации yl зависят от различных структурных, конструктивных и других
характеристик модели Ġl, отражающих меру близости модельного выхода
к системному и от влияния неизвестных факторов. Следовательно, целесообразно задать атрибуты настроенной модели Ġl системы обработки
информации – glRN в виде нечетких множеств Gl = (gl, (gl)). Тогда частные результаты обработки информации yl представляют нечеткие события
Q→R(Y2l): Gl  Q
yli  Y 2li – нечеткие множества
уli= (F2li,  yli (F2li)),
(5)
где F2l  Y2l – значения выхода уl ,  yli – функция принадлежности, при
этом  yli (F2li) интерпретируется как уверенность модели Ġl в значении
выхода F2li .Таким образом, F2 – матрица размерности k*q.
Задача заключается в выработке обобщенного решения комитета моделей обработки информации, представляющего собой некоторую операцию над нечеткими событиями r2i=H(у1i, у2i, …, уki), где уli нечеткое множество вида (5), для l  1..k .
Частные модельные решения, как правило, носят неравнозначный по
важности характер влияния на вырабатываемое коллективные решение.
Значимость выхода каждой модели уl характеризуется коэффициентом
достоверности w2l, совокупность которых составляет векторов приоритета
w2 ={w2l | l=1, 2, …, k}.
(6)
Определим достоверность w2l выхода модели Ġl как обобщенный показатель эффективности модели (1).
Алгоритм построения обобщенного показателя
на основе нечетко-возможностной свертки
частных показателей
142
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1782-6
НЕЙРОИНФОРМАТИКА-2013. Часть 3
Обозначим через w – плотность распределения, содержание которой
определяется выражениями (3) и (6) для 1 и 2 задачи соответственно. Обо~
значим через F – частные показатели, содержание которых определяется
выражениями (2) и (5) для 1 и 2 задачи соответственно.
Для решения задач построения обобщенного показателя r на основе
~
частных показателей F был разработан новый алгоритм нечетковозможностной свертки на основе нечеткой меры и нечеткого интеграла
~
[2, 3]. Распространенным методом выражения различий критериев F по
важности w является назначение каждому из них некоторого веса с последующим суммированием этих весов в рамках операции свертки. Данный
подход не учитывает нелинейный характер влияния частных показателей
~
(подсистем) F i друг на друга и в целом на обобщенный (системный) показатель r. Для того, чтобы избежать указанные недостатки и учесть нечетко-возможностное представление частных показателей эффективности,
предлагается при построении обобщенного показателя r нечетковозможностная свертка, основанная на нечеткой мере и нечетком интеграле Сугено [3]. С точки зрения адекватности моделирования интеграл
Сугено имеет следующие преимущества: позволяет моделировать пороговые реакции, поскольку не является линейной функцией; позволяет пояснить полученный результат, в отличие от интеграла Шоке, поскольку
указывает на элементы универсального множества, которые повлияли на
результат.
Алгоритм построения обобщенного показателя на основе нечетковозможностной свертки частных показателей состоит из 4 шагов:
~
Шаг 1. Построение оценочной функции h: F ip→[0, 1]. Если Fip 0 реализуется сдвиг: Fip  Fip  min {Fip } , i  1...k , p  1...q .
p{1,...q}
~
Частные показатели нормируются по формуле Fip = F ip/Ki, где
Ki  max {Fip } .
p{1,...q}
Шаг 2. Построение λ-нечеткой меры Сугено на конечном множестве
Fi, i  1...k , где wi – плотность распределения λ-нечеткой меры. Для чего
осуществляется нахождение корня из интервала (-0,∞) следующего поли k

1     .
нома n-1 порядка:
 (1  wi )  1 /   1,
 i 1

УДК 004.032.26(08) Нейронные сети
143
ISBN 978-5-7262-1782-6
НЕЙРОИНФОРМАТИКА-2013. Часть 3
Шаг 3. Для каждого p  1...q вычисляем обобщенный показатель s как
нечеткую свертку взвешенных частных показателей на основе нечеткого
интеграла по λ-нечеткой мере Сугено [2, 3]:
(7)
s   h  W  sup min{ , W ( F (v j ))},
 [ 0,1]
где F (v j )  {Fi Fi , v j  }, v j V , – множество частных показателей, относительная важность которых не превышает α; W ( F (v j )) – мера Сугено,
 k

вычисляемая по формуле: W ( F (v j ))    (1  wi )  1 / .
 Fi F ( v j )

Шаг 4. Если q=1, то r=s; q1, то выбор наилучшей альтернативы:
нахождение варианта v j 0 V , доставляющего обобщенному показателю
максимальное значение:
r  maxs ( w j ) .
vi V
(8)
Описанный алгоритм был реализован в пакете Matlab функцией
(r,s) = Fes(F,w),
(9)
где выходные параметры r и s определяются формулами (8) и (7) соответственно.
Метод формирования оптимальной системы
на базе эффективных моделей
Посредством разработанного алгоритма метод формирования оптимальной системы на базе эффективных моделей реализуется в три этапа:
1 этап – предобработка информации с целью изучения свойств выборки. Целесообразно применение: анализа главных компонент[4]; гибридного метода [5] соединения идеи динамических ядер и анализа главных компонент; квантование данных растущим нейронным газом [6] (при слабовыраженных или отсутствующих кластерах, отсутствии выбросов в данных).
2 этап – генерация моделей обработки информации. На данном этапе
целесообразно применять для моделей, обучаемых с учителем на основе
выборок данных эффективные методы генерации, например, модифицированные нейросети [7], boosting-коллективы [8], структура и параметры
которых подбираются из соответствия оценок констант Липшица для выборки данных и нейросети. На практике оказывается, что для достаточно
144
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1782-6
НЕЙРОИНФОРМАТИКА-2013. Часть 3
хорошего обобщения достаточно, чтобы общее количество свободных
параметров нейросети W удовлетворяло следующему соотношению [4]
N=O(W/),
(10)
где N – размер обучающего множества,  – допустимая точность ошибки,
О() – порядок заключенной в скобки величины.
3 этап – отбор наиболее эффективных моделей обработки информации
из числа сгенерированных, т.е. решение задачи 1 для каждой сгенерированной модели: расчета обобщенного показателя эффективности модели
обработки информации с целью выбора наиболее эффективной модели.
Задача выбора эффективной модели системы обработки информации
состоит в расчете обобщенного показателя эффективности r1i для каждой
настроенной модели Ġi и выбора наиболее эффективной модели для решения задачи. В терминах сформулированной ранее задачи оценки эффективности модели обработки информации имеем: F1– матрица, каждый
столбец j  {1,…,q} которой представляет k значений частных показателей эффективности j-той модели, выражаемых формулой (2) и соответствующий им вектор приоритетов w1, выражаемый формулой (3). Функция (9) (r1,s1)=Fes(F1, w1) выдает векторы: s1 – количественные значения
обобщенных показателей эффективности моделей обработки информации; r12 –соответствует показателю достоверности для максимального
значения обобщенного показателя r11 модели с индексом (номер столбца
матрицы F1) r13.
4 этап – компоновка эффективной системы обработки информации на
базе нескольких эффективных моделей, полученных на 3 этапе. Отбор
наиболее эффективных комитетов обработки информации из числа скомпонованных, т.е. реализация 3 этапа для сгенерированных комитетов,
частные показатели эффективности комитета – обобщенные показатели
эффективности составляющих его моделей.
5 этап – выработка обобщенного решения комитета моделей обработки
информации на выборке, содержащей примеров m. В терминах сформулированной ранее задачи выработки обобщенного решения комитета моделей обработки информации для каждого i-го примера, i{1, …, m}, имеем:
F2i – вектор выходов моделей комитета, выражаемых формулой (5) и соответствующий им вектор достоверности w2, выражаемый формулой (6);
функция (9) (r2,s2)=Fes(F2i, w2) выдает векторы s2 и r2, где s2q – количественное значение обобщенного решения комитета моделей для q-го
класса (выхода) (для q=1 s2= r21); r22 – соответствует показателю достоверности для значения обобщенного решения комитета моделей обработки информации – r21, r23 вычисляется только для задач классификации и
УДК 004.032.26(08) Нейронные сети
145
ISBN 978-5-7262-1782-6
НЕЙРОИНФОРМАТИКА-2013. Часть 3
соответствует номеру класса (номер столбца матрицы F2i) обобщенного
решения комитета моделей обработки информации.
В случае, когда для примеров j{1, …, d} прогноз комитетом моделей
с максимальным обобщенным показателем по базе данных задачи ошибочный, целесообразно сформировать комитет моделей с максимальным
обобщенным показателем по примеру j (и/или по примерам, имеющим
наименьшее расстояние до примера j)) т.е. реализовать этапы 3-5.
Решение задачи классификации Yale
При использовании метода построения эффективной модели систем
обработки информации с разработанным нечетко-возможностным алгоритмом была решена задача классификации с учителем на 15 классов,
заданная базой данных Yale [9], заключающаяся в распознании 165 изображений 15 человек, каждый человек имеет 11 изображений (каждое
изображение – 1024-мерный вектор). Данные разбиты на обучающую и
тестовую выборки случайным образом в отношении Gm/Pn (Gm и Pn –
количество изображений одного человека включенное соответственно в
обучающую и тестовую выборки).
На первом этапе был проведен анализ главных компонент. В результате размерность признакового пространства сократилась с 1024 до 164.
На втором этапе решение задачи осуществлялось следующим образом:
оценка константы Липшица для базы данных Yale равна 0,16. В пакете
Matlab были сгенерированы и натренированы на 50 обучающих выборках
четырех видов: G2/P9, G3/P8, G4/P7, G5/P6 1000 двухслойных нейросетей
с 1 скрытым слоем 10 вариантами количества нейронов в скрытом слое: 3,
5, 7, 11, 15, 17, 27, 35, 65, 165 нейронов; оценка константы Липшица
нейросетей (параметр функции активации равен соответственно 0.033,
0.026, 0.022, 0.018, 0.015, 0.014, 0.011, 0.01, 0.007, 0.005) равна 0.17.
Этапы с третьего по пятый были проведены для каждой из 50 обучающих выборок четырех видов: G2/P9, G3/P8, G4/P7, G5/P6.
На третьем этапе произведен отбор трех наиболее эффективных
нейросетей из 1000 сгенерированных, для чего для сгенерированных
нейросетей были рассчитаны обобщенные показатели эффективности, три
наибольших значения которых соответствовали трем наиболее эффективным нейросетям. Была сформирована матрица F1, каждый столбец j которой представлял три значения частных показателей эффективности j-й
модели j{1,…,1000}: доли правильно прогнозируемых примеров выборки; критерии эффективности, выражаемые формулами (1) и (10). Соответствующий трем указанным частным показателям эффективности век146
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1782-6
НЕЙРОИНФОРМАТИКА-2013. Часть 3
тор приоритетов w1, выражаемый формулой (3) был принят равным (5/8,
1/4, 1/8). В пакете Matlab была вычислена функция (9) (r1,s1)=Fes(F1,w1),
три наибольших значения вектора s1 – w2 i соответствовали трем наиболее
эффективным нейросетям ni, i  {1,2,3}.
На четвёртом этапе был составлен комитет из трех наиболее эффективных нейросетей ni, i  {1,2,3}, полученных на третьем этапе: F2i – вектор выходов моделей комитета для базы данных Yale и вектор w2 обобщенных показателей эффективности w2 i соответствующих нейросетей.
На пятом этапе для выработки обобщенного решения нечетковозможностного комитета fenn в пакете Matlab вычислялась функция (9)
(r2,s2)=Fes(F2,w2); класс объекта принимался равным r23. Для 50 выборок G4/P7 были сформированы комитеты с максимальными обобщенными показателями эффективности по неправильно классифицированным
примерам, что позволило повысить эффективность классификации с
88.2±1.9 до 96.1±1.7. В строках fenn и enn табл. 1 приведены результаты
прогноза соответственно классического и нечетко-возможностного комитетов нейросетей для задачи Yale [9].
Таблица 1
Эффективность методов распознавания для задачи Yale
Метод
Eigenface
Fisherface
2DLDA
S-LDA
Laplacianface
MFA
S-MFA
TensorPCA
S-LPP
S-NPE
Pixel space
Noushath et al. 2006
Wang et al. 2007
enn
fenn
G2/P9
46.0±3.4
45.7±4.2
43.4±6.2
57.6±4.1
54.5±5.2
45.7±4.2
57.2±4.3
49.4±3.5
57.9±4.5
57.5±4.7
Нет данных
Нет данных
Нет данных
52.7±3.2
67.3±2.1
G3/P8
50.0±3.5
62.3±4.5
56.3±4.7
72.3±4.4
67.2±4.1
62.3±4.5
71.2±4.0
54.0±3.0
72.0±4.0
71.9±3.9
Нет данных
Нет данных
Нет данных
62.8±3.0
78.7±2.3
G4/P7
55.7±3.5
73.0±5.4
63.5±5.6
77.8±3.0
72.7±4.2
73.0±5.4
76.9±3.1
57.8±3.3
76.0±3.4
77.0±3.4
84.0±1.5
85.0±1.5
99.0±0.5
72.2±3.1
96.1±1.7
УДК 004.032.26(08) Нейронные сети
G5/P6
57.7±3.8
76.9±3.2
66.1±4.8
81.7±3.2
75.8±4.6
76.9±3.2
81.1±3.1
59.8±3.9
81.4±2.9
80.9±3.5
Нет данных
Нет данных
Нет данных
76.3±3.2
91.3±1.5
147
ISBN 978-5-7262-1782-6
НЕЙРОИНФОРМАТИКА-2013. Часть 3
Нечетко-возможностный комитет нейросетей решает данную задачу
эффективнее классического. Экспериментально, в сравнении с традиционными и интеллектуальными методами, перечисленными в табл. 1, показана целесообразность использования и подтверждена высокая эффективность разработанного алгоритма построения обобщенного показателя на
основе нечетко-возможностной свертки частных показателей для обработки информации.
Выводы
Метод построения эффективной модели систем обработки информации в условиях неопределенности с использованием разработаного нечетко-возможностного алгоритма позволяет повысить эффективность систем
обработки информации. На базе алгоритма построения обобщенного показателя путем нечетко-возможностной свертки частных показателей разработаны методы: оценки эффективности настроенных моделей систем
обработки информации, позволяющие гибко учитывать нелинейный характер влияния частных показателей эффективности; выработки обобщенного решения комитета моделей обработки информации. Предложенные методы показали свою эффективность на примере задачи Yale.
Программа дальнейших исследований будет включать в себя расширение диапазона способов: предобработки информации на первом этапе,
формирования эффективных моделей обработки информации, применяемых на втором этапе метода.
Список литературы
1. Искусственный интеллект: Справочник. В 3-х кн. Кн.1. Системы
общения и экспертные системы. / Под ред. Э.В. Попова. М.: Радио и связь,
1990.
2. Энгель E.A. Модифицированная нейросеть для обработки информации с использованием селекции существенных связей. Автореферат
диссертации на соискание ученой степени кандидата технических наук,
Красноярск, 2004.
3. Freund Y., Schapire R. Experiments with a new boosting algorithm /
Proc. 13th Conf. on Machine Learning, 1993. P.148-156.
4. Нечеткие множества и теория возможностей: Последние достижения / Под ред. Р. Р. Ягера: Пер. с англ. М.: Радио и связь, 1986.
148
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1782-6
НЕЙРОИНФОРМАТИКА-2013. Часть 3
5. Нечеткие множества в моделях управления и искусственного интеллекта. / Под ред. Д.А. Поспелова. М.: Наука, 1986.
6. Хайкин С. Нейронные сети: полный курс.: Пер. с англ. М.: Вильямс,
2006.
7. Kambhatla N., Leen T. Fast nonlinear dimension reduction / Advances
in Neural Information Processing Systems 6. Morgan Kaufmann, 1994. P.152157.
8. Fritzke B. Growing self-organining networks / Proc. European Symposium Artificial Neural Networks (ESANN’1996), Bruges, Belgium, 1996. P.6172.
9. D. Cai, X. He, Y. Hu, J. Han, and T. Huang, Learning a spatially smooth
subspace for face recognition // in Proceedings of the IEEE Computer Society
Conference on Computer Vision and Pattern Recognition (CVPR '07), June
2007. P. 1–7.
УДК 004.032.26(08) Нейронные сети
149