Условия обучаемости распознавателей предаварийных
реклама
Костенко В.А., Коваленко Д.С. Метод построения алгоритмов распознавания, основанных на идеях аксиоматического подхода// Научная сессия МИФИ - 2007. IX Всероссийская научно-техническая конференция "Нейроинформатика-2007": Сборник научных трудов. М.: МИФИ, 2009. В.А. КОСТЕНКО, Д.С. КОВАЛЕНКО Факультет Вычислительной Математики и Кибернетики МГУ им. Ломоносова [email protected], [email protected] Метод построения алгоритмов распознавания, основанных на идеях аксиоматического подхода. В данной работе рассматривается задача автоматического построения алгоритмов распознавания аномального поведения динамических систем. Динамическая система может демонстрировать штатное (нормальное) или нештатное (аномальное) поведение, причем существует несколько классов аномального поведения. Информация о поведении системы задается фазовой траекторией в многомерном пространстве показаний датчиков. Особенностью рассматриваемых систем является тот факт, что в разных условиях функционирования траектории, характерные нештатному поведению, могут существенно отличаться. Предлагаемый в работе метод построения алгоритмов распознавания позволяет настраиваться на особенности динамической системы и не зависит от конкретных условий ее функционирования. 1. Задача распознавания нештатного поведения динамических систем. Рассмотрим динамическую систему, информация о поведении которой доступна в виде фазовой траектории в пространстве показаний датчиков X f (to it ) . Система может демонстрировать два типа поведения: Штатное поведение. Нештатное поведение. Возможно несколько классов неисправностей, вызывающих данное поведение. Каждому классу неисправности соответствует некоторая характерная траектория YAnom , такие траектории будем называть эталонными. 1. 2. Все множество траекторий, которые могут быть получены с датчиков системы обозначим X {X } . Если число классов нештатного поведения 1 системы равно l , то обозначим Z { j}lj 1 {0} - множество ответов, где 0 - соответствует штатному поведению системы. Множество всех отображений из X в Z обозначим: A: X→Z. Эталонные траектории, соответствующие различным классам нештатного поведения, могут входить в анализируемую траекторию в искаженном виде. Искажения могут быть по амплитуде и времени. Под искажением траектории по амплитуде будем понимать изменение абсолютных значений точек траектории, без изменения числа отсчетов. Под искажением траектории по времени будем понимать изменение числа отсчетов, на которых определена траектория, без изменения абсолютных значений ее элементов. При добавлении одного отсчета с новым индексом i в траекторию его значение принимается как среднее между значениями соседних отсчетов i 1 и i 1 траектории. Под добавлением большего числа отсчетов будем понимать последовательное добавление по одному отсчету. При уменьшении числа отсчетов в измененной траектории содержатся только отсчеты с исходными абсолютными значениями, и только они, при этом некоторые отсчеты удалены. Искажения могут быть нелинейными, но траектории с искажениями, соответствующие различным классам аномального поведения не должны 1 2 пересекаться: YAnom YAnom . При этом будем считать, что две точки траектории равны, если равны элементы векторов, задающие эти точки. Две траектории пересекаются, если одна из них целиком содержит другую, т.е. одна траектория содержит последовательность точек, равную всем точкам другой траектории, причем порядок следования совпадает. Результатом пересечения будем считать общую часть двух траекторий: i j Y i Y j Y j , если Y содержит в качестве части Y . В противном случае будем говорить, что траектории не пересекаются: Y i Y j . Задача распознавания аномального поведения может быть сформулирована следующим образом. Дано: Наблюдаемая многомерная траектория содержащая X (t ) , информацию, полученную с датчиков системы. Набор B классов аномального поведения системы, для каждого b класса b B задана эталонная траектория Y Anom . Причем, траектории разных классов аномального поведения не пересекаются. Ограничения на полноту и точность распознавания в виде ограничений на число ошибок распознавания и классификации: 2 e1 val1 и e2 val2 где e1 – число ошибок распознавания первого рода, e2 – число ошибок распознавания второго рода, val1 и val2 – заданные численные ограничения. Требуется с учетом ограничений на полноту и точность провести распознавание и классификацию аномального поведения в работе системы на основе наблюдаемой траектории X (t ) и множества эталонных траекторий {YAnom} , где {Y } Y b . Anom Anom bB 2. Описание аксиоматического подхода. Идея использования аксиоматического подхода для анализа траекторий была предложена в работе [1] и исследована в [2]. Основой аксиоматического подхода является разметка анализируемой траектории аксиомами. Аксиома – бинарная функция, определенная в точке и некоторой ее окрестности на траектории. Совокупность аксиом называют системой аксиом. Точка траектории размечается аксиомой, если в данной точке аксиома выполняется. Траектория размечается системой аксиом, если каждой точке траектории сопоставляется некоторая аксиома из системы аксиом. Таким образом, от исходной траектории X ( x1 ,..., xn ) переходим к последовательности аксиом J ( j1 , j2 ,..., jn ) , где ji - номер сопоставляемой отсчету i аксиомы. Размечаются эталонные траектории {YAnom} , соответствующие различным классам нештатного поведения. Далее, в ряду разметки J ищутся последовательности аксиом соответствующие разметкам эталонных траекторий. Таким образом, определение нештатного поведения в работе наблюдаемой системы ведется не путем поиска эталонных траекторий {YAnom} в наблюдаемой траектории X , а путем поиска разметок эталонных траекторий в ряду разметки J . Для обеспечения корректности этого подхода на систему аксиом накладываются дополнительные ограничения: Условие полноты. Это условие означает, что для любой точки допустимой траектории найдется аксиома из системы аксиом её размечающая. Условие однозначности. Это условие заключается в том, что любая точка допустимой траектории может быть размечена лишь одной аксиомой из системы аксиом. 3 3. Задача построения алгоритма распознавания по обучающей выборке. Пусть определена целевая функция (o1, o 2) , где o1 и o2 - число ошибок распознавания первого и второго рода. Пусть так же задана выборка TS в виде экземпляров траекторий X , полученных в различных условиях работы системы, с различными искажениями и шумами. При этом для каждого экземпляра траектории указаны участки нештатного ~ поведения. Всю заданную выборку можно разделить на обучающую X и ~ контрольную X , где TS X X . Задача построения алгоритма распознавания нештатных ситуаций в работе динамических систем заключается в следующем: По заданной выборке TS и заданной целевой функции (o1, o 2) построить алгоритм А, реализующий отображение из А и удовлетворяющий следующему набору ограничений: 1. Локальные ограничения: Общее число ошибок распознавания на обучающей выборке не должно превышать заданный параметр Pwr : v( A, X~ ) Pwr . 2. Требования к обобщающей способности: Алгоритм А должен быть устойчив с заданной вероятностью PG к возможным функциям искажений {G1 ,.., GS } эталонных траекторий, если эти искажения заданы: i , j [1, S ] : P[ A( X tri ) A(G j ( X tri )) ] PG где X trk G j ( X tri ) - траектория, полученная из X tri после искажения 3. 4. функцией G j . Универсальные ограничения: Алгоритм А должен обладать способностью к обобщению, то есть ~ показывать высокие результаты не только на обучающей выборке X , но и на всем множестве траекторий X, для этого он должен минимизировать целевую функцию (o1, o 2) на контрольной выборке X , где o1 и o2 - число ошибок распознавания первого и второго рода. Ограничения на вычислительную сложность: Вычислительная сложность работы алгоритма распознавания ( A) должна быть ограничена наперед заданной функцией Ef (l , m) , 4 которая определяется структурой и характеристиками используемого вычислителя: ( A) Ef (l , m) где: Ef (l , m) - это функция от l - числа эталонных траекторий и m максимальной длины эталонной траектории. Данная задача построения алгоритма распознавания соответствует классической постановке задачи обучения по прецедентам. 4. Алгоритм обучения Решением рассматриваемой задачи распознавания в рамках аксиоматического подхода является алгоритм А, который определяется следующими составляющими: алгоритм предобработки исходных данных, алгоритм разметки и система аксиом, алгоритм поиска разметок. Все семейство алгоритмов, которые могут быть получены в результате решения рассматриваемой задачи распознавания обозначим: S. Данное семейство является достаточно широким. Для решения поставленной задачи предложено разбить S на подсемейства. Под шаблоном будем понимать следующую комбинацию: заданный алгоритм предобработки и диапазон допустимых значений его параметров, алгоритм разметки и фиксированное множество элементарных условий, заданный алгоритм поиска разметок и диапазон допустимых значений его параметров. Выделение шаблонов и обучение алгоритмов распознавания в рамках выбранных шаблонов позволяет уменьшить сложность алгоритма обучения за счет поиска решения в рамках меньшего семейства. Для предобработки использовались следующие алгоритмы: сглаживания, сжатия и интерполяции траектории на произвольный коэффициент, быстрое преобразование Фурье. Для поиска разметок использовались следующие алгоритмы: алгоритмы на основе метрики и DTW (Dynamic Time Warping), алгоритмы на основе нейросетей, алгоритмы на основе расширенных разметок [3]. Для поиска решения во всем семействе S необходимо сформировать такое множество шаблонов, которое будет покрывать все семейство решений. Однако, зачастую область поиска удается ограничить, отсекая некоторые подсемейства. В данной работе методы отсечения шаблонов не рассматриваются. 5 Общую схему алгоритма обучения распознавателей нештатного поведения с использованием шаблонов можно представить следующим образом: 1. Построение шаблонов. 2. Для каждого шаблона происходит обучение алгоритма распознавания: a. Построение системы аксиом. b. Определение значений параметров алгоритма поиска разметок. c. Определение значений параметров алгоритма предобработки исходных данных. d. Проверка критерия останова и переход на шаг 3, в случае его выполнения, иначе переход в подпункт a. 3. Выбор лучшего алгоритма распознавания из алгоритмов, полученных при обучении в рамках построенных шаблонов. Выбор лучшего алгоритма распознавания в п.3 происходит на основе значений целевой функции (o1, o 2) на контрольной выборке X . Построение системы аксиом. Для построения системы аксиом используется генетический алгоритм. Общую схему этого алгоритма можно представить следующим образом: 1. Создание начальной популяции. 2. Выполнение операций мутации особей популяции. 3. Выполнение операций скрещивания особей и образование расширенной популяции. 4. Селекция особей и сужение популяции. 5. Проверка критерия останова: если критерий достигнут – то останов, иначе переходим к пункту 2 алгоритма. Особью в популяции является система аксиом. На первом этапе требуется создать достаточное число существенно различных систем аксиом. Основным условием на данном этапе является создание корректных систем аксиом, то есть удовлетворяющих условиям полноты и однозначности, описанным выше. Для автоматического создания начальной популяции была предложена схема сборки систем аксиом из отдельных аксиом, а аксиом из элементарных условий. Элементарным условием называется предикат P ( X , j , R ) от участка траектории X , номера отсчета этой траектории j и вектора параметров R предиката. Аксиома представляет собой дизъюнктивную нормальную форму от элементарных условий. Набор элементарных условий задается заранее. 6 Необходимым условием обучаемости семейства алгоритмов распознавания S является различимость разметок эталонных траекторий. Это условие формулируется в виде следующего ограничения на используемый набор элементарных условий: в наборе должны содержаться такие элементарные условия, что для любых двух траекторий из обучающей выборки, соответствующих различным классам нештатного поведения, найдется такое элементарное условие и такая точка в каждой из траекторий, на которой данное условие выполнено в одной траектории и не выполнено в другой: ~ ~ ~ ~ ~ ~ ~ X i , X j X , i j : ECk {ECk } и t Xi , X j : ECk ( X i , t ) ECk ( X j , t ) Существует алгоритм полиномиальной сложности для проверки данного условия. Далее в представленном генетическом алгоритме идет итеративная оптимизация популяции. Её цель – улучшить начальную популяцию, для последующего выбора наиболее подходящей системы аксиом. Операции мутации и скрещивания определены для трех уровней: Уровень элементарных условий. На этом уровне происходит изменение (операция мутации) и комбинация (скрещивание) параметров элементарных условий. Уровень аксиом. При этом происходит изменение (операция мутации) составляющих аксиомы элементарных условий, их замена или обмен (операция скрещивания) в выбранных для изменения аксиомах. Уровень систем аксиом. При этом происходит изменение (операция мутации) аксиом или обмен аксиомами (операция скрещивания) выбранных систем аксиом. Степень мутации и процент скрещиваемых систем аксиом в популяции определяются автоматически на основании значений функций значимости особей популяции и аксиом входящих в особи. В данной работе функция значимости системы аксиом определена как линейная комбинация следующих составляющих: Число ошибок распознавания I и II рода. Отношения значения целевой функции особи к минимальному и максимальному значению целевой функции в популяции. Функция значимости аксиомы является линейной комбинацией от: Функции значимости системы аксиом. Частоты срабатывания аксиомы на контрольной выборке. Частоты срабатывания на эталонных траекториях. При лучших значениях функции значимости особи параметры мутации подбираются таким образом, чтобы не сильно изменять особь, а 7 вероятность выбора особи для скрещивания больше. И наоборот, при плохих значениях функции значимости особь меняется сильнее и реже выбирается для скрещивания. Аналогично, функция значимости аксиомы определяет параметры операций скрещивания и мутации на уровне аксиом и элементарных условий. Селекция популяции происходит путем разметки траекторий представленной обучающей выборки TS , подсчету числа ошибок первого и второго рода: o1 и o2 . После чего для каждой особи вычисляется значение целевой функция (o1, o 2) и особи сортируются по значению целевой функции. В новую популяцию переносится заданный процент особей с лучшими значениями целевой функции, а остальные отбираются случайно из оставшихся особей. Настройка алгоритмов предобработки и поиска разметок. Исследования показали, что рельеф целевой функции (o1, o 2) алгоритма распознавания существенно зависит от используемой системы аксиом. Подсчет целевой функции требует больших вычислительных затрат, так как требует использования алгоритма предобработки, разметки траекторий контрольной выборки, поиска разметок. Поэтому для поиска настроек алгоритмов предобработки и поиска разметок решено использовать алгоритмы локальной оптимизации, в частности алгоритм градиентного спуска. Критерий останова алгоритма обучения в рамках шаблона. Критерием останова итерационного алгоритма обучения в рамках шаблона является следующий составной критерий: Выполнены условия задачи обучения алгоритма распознавания, перечисленные выше. В этом случае алгоритм считается завершившимся удачно. Общее число итераций алгоритма превысило наперед заданное значение или число итераций без улучшения решения превысило заданный параметр. В этом случае алгоритм считается завершившимся неудачно. 5. Результаты численного исследования. Было проведено численное исследование на модельных данных предложенного метода построения алгоритмов распознавания и ряда известных методов: алгоритмы на основе нейросетей, алгоритмы на основе метрики и DTW (Dynamic Time Warping) [4], алгоритмы на основе преобразований Фурье и вейвлет-преобразований, алгоритм “Гусеница”SSA (Singular Spectrum Analysis) [5]. Длина анализируемой траектории 8 10000 отсчетов. Характеристики искажений эталонных траекторий: искажения по времени до 50%, по амплитуде до 20% от исходной траектории. Общее число эталонных траекторий в модельном ряду – 50. Лучшие результаты показали предложенный метод построения алгоритмов распознавания и метод на основе алгоритма DTW. Число ложных распознаваний для предложенного метода составило 18, а процент нераспознанных траекторий нештатного поведения – 5%. Число ложных распознаваний для алгоритма на основе DTW составило 20, а процент нераспознанных траекторий нештатного поведения – 33%. Список литературы: 1. 2. 3. 4. 5. Рудаков К.В., Чехович Ю.В. О проблеме синтеза обучающих алгоритмов выделения трендов (алгебраический подход). // Прикладная математика и информатика N 8, М. Издательство факультета ВМиК МГУ, 2001. С. 97-114. Коваленко Д.С., Костенко В.А., Васин Е.А. Исследование применимости алгебраического подхода к анализу временных рядов. // Методы и средства обработки информации. Издательство факультета ВМиК МГУ, 2005. С. 553559. Коваленко Д.С., Костенко В.А., Васин Е.А. Генетический алгоритм построения системы аксиом для разметки временных рядов. // Труды VII Международной Конференции: Дискретные модели в теории управляющих систем. М.: Макс Пресс, 2006. С. 46-54. Keogh E.J., Michael J. Pazzani. Derivative Dynamic Time Warping // First SIAM International Conference on Data Mining (SDM'2001), Chicago, USA. 2001. [PDF] http://www.ics.uci.edu/~pazzani/Publications/sdm01.pdf. Данилов Д.Л., Жиглявский А.А. Главные компоненты временных рядов: метод “Гусеница”. СПб.: Санкт-Петербургский университет, 1997. 9