типовые методы и алгоритмы - Информационные технологии

Информационные технологии - http://www.intexpro.ru/
О.В. Кривенко
«Экологические системы и приборы», 2002, №12
Типовые методы оценки контролируемых показателей при решении
задач управления
В настоящей статье приведены методы и конкретные алгоритмы оценки
контролируемых показателей самой различной природы. Реализованы следующие виды
оценок: со своей предысторией, со значениями показателя в других точках пространства и
с директивно заданными значениями. Данные алгоритмы являются типовыми и
апробированы при решении различных задач управления и создании автоматизированных
систем контроля.
1. Введение
Предлагаемые методы обеспечивают решение задач оценки текущих значений
любого количественного контролируемого показателя (КП), выполняемые в
сравнении:
-
со своей предысторией (оценка динамики),
-
со значениями показателя в других точках пространства
(пространственная оценка),
-
с директивно заданными значениями (нормативная оценка).
Объективное и оперативное знание настоящей информации позволяет получить
полную картину состояний по КП как во времени, так и в пространстве, что
необходимо для правильного понимания складывающейся ситуации, ее изменений и
выработки адекватных управленческих решений.
Оценка динамики КП позволяет выявить, например, тенденцию изменения
показателя и текущие отклонения от нее. Тенденции, как правило, связывают с
долговременными факторами, влияющими на КП. Отклонения от тенденций –
предмет оперативного вмешательства в ситуацию.
Пространственное распределение позволяет установить значимые отклонения,
связанные с возможными условиями в каждой точке (месте, территории), где
регистрируется КП.
Наконец, традиционная нормативная оценка КП обеспечивает абсолютное
сравнение зарегистрированных значений с неким эталоном.
2. Исходные предположения
Пусть Xvkt – значения v-го КП (v  V) в k-й точке пространства (k  K),
зарегистрированные в момент времени t  T. Где: V - множество КП; K - множество
точек пространства (проще говоря, совокупность местоположений на местности или
объектов, на которых регистрируются КП); T - исследуемый интервал времени. Под
1
моментами времени t, в строгом понимании этого слова, понимаются элементарные
интервалы времени, совокупность (сложение) которых равно T, то есть T =  t.
Введем понятия норм N, под которыми будем понимать любое вычисленное
(например, усредненное), заданное или желаемое значение КП, являющееся
нормативом для оценки значений КП (Xvkt). Значения КП существуют в трех
множествах (показателей, пространства и времени). Понятие же нормы применимо
только к множествам значений КП в пространстве и времени и не применимо к
множеству показателей. В самом деле, абсурдно вводить единый норматив,
например, для числа заболеваний населения и концентрации углекислого газа в
атмосфере. Поэтому, рассмотрим каждый v-й КП Xvkt в отдельности (обозначим его
для простоты Xkt , опустив индекс v) и, соответственно, два вида упомянутых выше
типа норм:
 NKt – пространственная норма, служащая для сравнения и оценки показателей
в отдельных точках пространства K между собой; Пространственная норма
одна для всех точек, но зависит от времени t; Как правило, это среднее по
пространству и, как результат, отклонение показателей в каждой точке от
среднего;
 NkT – временн΄ая норма на исследуемом интервале времени T, служащая для
оценки анализируемого показателя в данном месте в динамике; Временн΄ая
норма различна для каждой k-й точки пространства; Как правило, это
тенденция и, как результат, отклонение текущего значения показателя от
тенденции.
Традиционно используемые нормативы, служащие для абсолютной оценки КП
обозначим NА. Эти нормативы (например, предельно допустимые концентрации –
ПДК) не зависят от времени и пространства и, поэтому не содержат индексы k и t.
Введем очевидное соотношение, раскладывающее значение любого КП на две
составляющие: норма и отклонение от нее, то есть:
Значение КП = Норма + Отклонение
(1)
Так, например, значение КП в сравнении с пространственной нормой будет
выглядеть следующим образом:
Xkt = NKt + O(Xkt, NKt)
(2)
где:
NKt
– пространственная норма для исходного КП Xkt (как правило, это
среднее по пространству и, для краткости, будем называть ее так
в дальнейшем);
O(Xkt, NKt) – отклонение значения КП Xkt в данной точке и момент
времени от пространственной нормы для него (отклонение от
среднего по пространству).
Аналогично, значение КП в сравнении с временн΄ой нормой будет выглядеть
следующим образом:
Xkt = NkT + O(Xkt, NkT)
(3)
где:
NkT
– временн΄ая норма для исходного КП Xkt (как правило, это
тенденция и, для краткости, будем называть ее так в
дальнейшем);
O(Xkt, NkT) – отклонение значения КП Xkt в данной точке и момент
времени от временн΄ой нормы
для него (отклонение от
тенденции).
2
Производные составляющие исходного КП, входящие в выражения (2)-(3) также
можно разложить согласно соотношения (1). Так например, пространственная норма
для исходного КП NKt в сравнении с временн΄ой нормой для нее будет представлена
в следующем виде:
NKt = NkT(NKt)+ O(NKt, NkT(NKt))
где: NkT(NKt) – временн΄ая норма для пространственной нормы (тенденция
среднего по пространству);
O(NKt, NkT(NKt)) – отклонение пространственной нормы NKt в данный
момент времени от временн΄ой нормы для нее (отклонение
средней от своей тенденции).
Или, например, отклонение от временн΄ой нормы может быть представлено в
следующем виде:
O(Xkt, NkT) = NKt(O(Xkt, NkT)) + O(O(Xkt, NkT), NKt(O(Xkt, NkT))
где: NKt(O(Xkt, NkT)) – пространственная норма для отклонениq от временн΄ой
нормы (среднее отклонение от тенденций);
O(O(Xkt, NkT), NKt(O(Xkt, NkT))– отклонение от тенденции в данной точке и
момент времени O(Xkt, NkT) в сравнении со средним
отклонением от тенденций (во всех точках пространства).
3. Варианты сравнений и оценок контролируемых показателей
В таблице 1 приведены все возможные варианты разложений исходных и
производных значений КП.
Таблица 1
Сравнение с
Сравнение с временн΄ыми нормами (оценка динамики)
пространственными нормами
Норма
Пояснение
Значение
Отклонение
(пространствен(тенденция)
отклонения
ная оценка)
Xkt NkT Отклонение от своей
Значение
исходный
тенденция Xkt
O(Xkt, NkT)
тенденции (в k-ой точке
КП
пространства)
NkT(NKt) Откл.
средней по
O(NKt, NkT(NKt))
Норма
тенденция
пространству от своей
(среднее по
NKt среднего Xkt
тенденции (в момент t)
пространству) среднее Xkt
NKt(NkT) Среднее по пространству
средняя
NKt(O(Xkt, NkT)) отклонение от тенденций
тенденция Xkt
NkT(O(Xkt, NKt)) O(O(X , N ),
Откл.от среднего в
kt
Kt
- тенденция
NkT(O(Xkt, NKt)) данной точке в сравнении
отклонения от
с тенденций своих
Отклонение
O(Xkt, NKt)
среднего
отклонений
Отклонение от
O(O(Xkt, NkT),
O(NKt(NkT))
тенденции
в данной
NKt(O(Xkt, NkT))
3
Пояснение
отклонения
Откл. в k-ой
Отклонение
точке в
тенденции в k-ой
момент t от
точке в момент t
среднего по
от средней
всему
тенденции (во
пространству
всех точках K)
K
точке в сравнении со
средним по
пространству K
отклонением от
тенденций
Примечание: в строках и графах «Норма» и «Отклонение» приведено по два
производных показателя:
-
верхние, выделенные темным фоном, представляют собой разложения
производных показателей NKt и O(Xkt, NKt) в сравнении с временн΄ыми
нормами (для них);
-
нижние, представляют собой разложения производных показателей NkT и
O(Xkt,NkT) в сравнении с пространственными нормами (для них).
Аналогичное взаимное разложение можно привести для совместного сравнения
КП с абсолютной NA , пространственной NKt и временн΄ой NkT нормами. В этом
случае, можно, например, выйти на определение отклонения тенденции КП от
абсолютной нормы O(NA(NkT)) или, наоборот,
тенденции отклонений от
абсолютной нормы NkT(O(NA)). Величина O(NA(NkT)) более достоверно, чем
исходные значения, оценивает КП в сравнении с абсолютной нормой. В самом
деле, тенденция отражает закономерное поведение КП, в то время как исходное
значение КП подвержено чисто случайным колебаниям.
Поясним смысловое значение, приведенных в таблице 1, составляющих на
примере КП концентрации углекислого газа в атмосфере. Допустим, имеется k
точек замера (местоположений в пространстве). В этом случае, Xkt
регистрируемые концентрации углекислого газа в точке k в момент времени t.
Тогда:
-
если NkT является тенденцией изменения концентрации углекислого газа в
точке k, то O(Xkt, NkT) отклонение текущего значения концентрации в точке k
от тенденции (в этой же точке); Тенденция характеризует долговременное
изменение, а отклонение от нее позволяет оценить текущее значение в
сравнении со своей предысторией; Тенденция, может быть, связана с
глобальными факторами, вызывающими изменения концентрации, а
отклонения от нее – с локальными во времени действующими факторами;
-
если NKt является общей по всем точкам k средней концентрацией
углекислого газа в момент t, то O(Xkt, NKt) отклонение текущего значения
концентрации от среднего значения концентрации (по всем точкам k); В этом
случае, отклонение характеризует отличие концентрации в точке k от общей
по пространству средней концентрации на момент t.
Далее приводятся методы реализации приведенных выше задач оценки КП.
Настоящие алгоритмы разработаны в предположении применимости
нормального закона распределения. Поэтому, если для какого либо КП применим
другой закон распределения, то его следует первоначально привести к
распределению близкому к нормальному. Как правило, для этого достаточно
выполнить следующее преобразование: Xkt, где   0 – некоторый показатель
степени.
4
4. Оценка динамики
4.1. Основные принципы оценки динамики
Значения КП в каждой точке пространства k во времени представляет собой, в общем
случае, реализацию некоторого случайного процесса, который можно представить
состоящим из трех составляющих (в этом разделе для простоты написания опустим
также индекс k, отвечающий за пространство): моделируемой составляющей Мt,
отклонений от нее O(Xt, Мt) и чисто случайных флюктуаций или колебаний Et, то
есть:
Xt = Мt + O(Xt, Мt) + Et
(4)
Составляющая Мt характеризует закономерное изменение КП, установившееся на
достаточно длительном промежутке времени. Ее моделирование позволяет
обоснованно решать задачу прогнозирования выделенных тенденций. Учет и анализ
этой составляющей необходимо использовать при решении долговременных задач
управления.
Составляющая O(Xt, Мt) характеризует текущие (локальные во времени) изменения
КП не укладывающиеся в установленную модель, что может быть связано с
появлением нового действующего фактора или возможной сменой имевших ранее
закономерностей. Раннее выявление и анализ этой составляющей важно для решения
задач оперативного управления, когда требуется срочно разобраться в возникшей
ситуации и, в случае необходимости, принять адекватные меры воздействия. Будем
называть составляющую O(Xt, Мt) - изменением.
Составляющая Et отвечает за чисто случайные отклонения КП, зависящие от
множества неучтенных факторов, и которые в силу этого необходимо принимать как
должные. С математической точки зрения эта составляющая является «белым
шумом» с нулевым математическим ожиданием и постоянной дисперсией.
В терминах раздела 2 моделируемая Мt плюс чисто случайная Et составляющие
вместе представляют собой временн΄ую норму или тенденцию, то есть:
NT = Мt + Et. Эту составляющую в автоматизированных системах управления
называют обычным уровнем КП на исследуемом промежутке времени.
4.2. Выделение тенденций (обычных уровней)
Выделение тенденций (обычных уровней) заключается в установлении
закономерности (модели) изменения КП во времени на известном отрезке времени и
возможной ее экстраполяции на будущее (прогнозировании).
Наиболее известный подход в моделировании тенденций заключается в подгонке
различных кривых (например, первого порядка – это прямая линия) для имеющихся
значений процесса на фиксированном интервале времени. С добавлением новых
данных во времени такие модели необходимо пересчитывать. Помимо этого,
подобные модели в равной степени учитывают все значения процесса, как самые
ранние (первые), так и последние. В большинстве практических приложений это
неверно, так как последние значения процесса более характерны для настоящего, а,
следовательно, и для прогноза.
Для преодоления указанных недостатков при моделировании и прогнозировании
тенденций КП, нами предлагаются модели авторегрессии-проинтегрированного
5
скользящего среднего или сокращенно АРПСС (P, D, Q). В общем случае модель
АРПСС P-го порядка авторегрессии, D-го порядка разностного преобразования и Qго порядка скользящего среднего определяется следующим выражением:
(1–iP iBi)(1–B)D Mt = C + (1–jQ jBj) Et
где:
(5)
Mt - моделируемая составляющая Xt
iP - знак суммирования по i от 1 до P
i - коэффициенты авторегрессии
B - оператор сдвига назад: BMt = Mt-1, BiMt = Mt-i
C - константа
i - коэффициенты скользящего среднего
Et - случайная ошибка с нулевым средним и постоянной дисперсией (см. п.
4.1).
Модели, описываемые выражением (5), имеют очень большую сферу применений и,
помимо, учета тренда и других детерминированных закономерностей обеспечивают:
1) учет автокорреляционной зависимости исследуемого процесса,
2) возможность использования скользящего среднего,
3) а также, что очень важно, автоматическую адаптацию модели к последним
значениям процесса.
Формула (5) в итоге можно преобразовать в следующее выражение, которое и
используется для расчета моделируемых значений КП:
Mt = i(P+D) i Mt-i – jQ j Et-j
где:
(6)
i - приведенные коэффициенты авторегрессии
j - приведенные коэффициенты скользящего среднего.
Прошлые значения обычного уровня, использумые в формуле (6) для вычисления
текущего значения, равны:
- значениям самого КП, то есть, Мt-i = Xt-i , при отсутствии изменения в момент
(t – i) (см. раздел 4.3);
- моделируемым значениям на момент (t – i), то есть, Мt-i при наличии
изменения.
4.3. Выявление изменений
Под выявлением изменений понимается установление фактов значимых отклонений
регистрируемых значений КП от выделенной тенденции, то есть выявление
составляющей O(Xt, Мt) (см. раздел 4.1).
Установление изменений осуществляется на основе анализа нормализованной
статистики Zt, характеризующей степень отклонения фактического значения КП Xt
от обычного уровня Мt для этого периода. Назовем его здесь и далее нормированным
показателем:
Zt 
Xt  Mt
Dt
(7)
где: Dt - дисперсия случайного отклонения от обычного уровня Мt.
Полученное значение статистики Zt сравнивается с некоторым порогом Zп и, при его
превышении, устанавливается факт значимого отличия регистрируемого значения
6
КП от обычного (в отсутствие изменений) уровня. Меняя величину порога можно
изменять чувствительность алгоритма к изменениям контролируемого процесса.
Это основа. Реально она дополняется десятками различных уточнений и
ограничений, чтобы учесть реальную действительность и требования лиц
принимающих решения (ЛПР) к выявляемым изменениям КП. Кроме того, и это
главное, по одному факту отклонения на момент t устанавливать факт изменения КП
неправомерно по двум причинам:
- при малой величине выбранного порога случайное, единичное отклонение КП
будет приводить к ошибочному установлению несуществующего изменения,
которое в дальнейшем не подтвердится;
- с другой стороны, при большой величине выбранного порога будут
пропускаться малые или начинающиеся изменения, которые могут
подтвердиться в дальнейшем.
Поэтому вводятся два порога: на начало возможного изменения Zвн и начало
изменения Zн КП, применяемые не только к одному текущему моменту времени t, но
и к некоторому «подозрительному» периоду T, для чего дополнительно вычисляется
суммарная статистика ZT.
ZT 
XT  MT
(8)
DT
где: XT - сумма значений КП за период T = (tк – tвн +1), где tвн – возможное
начало изменения, tк - последний анализируемый момент времени;
MT - обычный уровень для периода T;
DT - дисперсия отклонения от обычного уровня для периода T.
Итоговая последовательность проверок такова:
1) при отсутствии установленных изменений на текущий момент времени t по
формуле (7) вычисляется статистика Zt;
2) полученное значение статистики Zt сравнивается с порогом на возможное
изменение Zвн;
3) если порог не превышен, то есть Zt  Zвн, то на следующий момент времени
(t + 1) все повторяется с начала (с пункта 1);
4) если порог превышен, то есть Zt  Zвн, то этот момент запоминается в
качестве возможного начала изменения tвн и выполняется анализ для
суммарной статистики ZT;
5) суммарная статистика ZT вычисляется по формуле (8) для каждого текущего
момента времени t  tвн вплоть до момента установления изменения или
неподтверждения факта возможного изменения;
6) полученное значение статистики ZT сравнивается с порогом на изменение Zн;
7) если порог превышен, то есть ZT  Zн, то момент tн  tвн является началом
изменения КП;
8) если ZT  Zвн, то момент tвн возможного начала изменения не подтверждается
и все начинается с начала.
5. Пространственная оценка
Оценка КП в различных точках пространства k включает решение следующих задач:
1) Оценка характеристик распределения (значений КП по пространству)
7
2) Оценка отличий (КП в различных точках пространства)
3) Выявление пространственных отклонений (определение
значений КП)
аномальных
Под пространством, в общем случае, понимается привязка КП к местоположению:
территории или учреждению, а также организму: животного или человека.
Взаимная оценка различных значений КП Xkt по пространству k выполняется, как
правило, в один и тот же момент (промежуток) времени t. Поэтому, для простоты
написания опустим в этом разделе индекс времени, то есть будем рассматривать
значения Xk .
5.1. Оценка характеристик распределения
Значения любого КП в каждой точке пространства k представляет собой реализацию
некоторого распределения, которое характеризуется двумя основными параметрами:
1) среднее NK по K анализируемым точкам пространства (k = 1, K)
1 K
(9)
 Xk
K k 1
2) дисперсия распределения (или вариация)
2
1 K
DK 
(10)
 (X k  N k )
K  1 k 1
При наличии аномальных значений, следует вначале выполнить процедуру их
исключения (см. разд. 5.3) и затем вычислять приведенные выше параметры
распределения.
NK 
5.2. Оценка отличий
Значения одного и того же КП в различных точках пространства могут сравниваться
следующим образом:
1) со средним по пространству
2) между собой (взаимная оценка)
5.2.1. Сравнение со средним по пространству
Сравнение со средним по пространству позволяет получить относительную оценку, а
именно, как значения КП Xk в каждой точке пространства отличаются от средней
NK по всему анализируемому пространству K.
Оценка сравнения выполняется на основе нормированного показателя:
Zk 
Xk  NK
DK
(11)
Значимое отклонение от среднего устанавливается при превышении некоторого
порога P (то есть Zk > P ), зависящего от выбранного уровня значимости  (обычно
выбирается равным 0,95; 0,975 или 0,99)
5.2.2. Взаимная оценка
Сравнительная оценка в различных точках пространства позволяет достоверно
сравнить значения КП между собой.
8
Допустим Xk и Xj принадлежат двум различным группам КП, соответственно с K и
J значениями в каждой группе, которые подлежат сравнению. Каждая из этих групп
характеризуются своими средними и дисперсиями, соответственно, NK , DK и NJ ,
DJ. В этом случае, сравнению на достоверность отличия подлежат как сами средние,
так и отдельные значения КП.
Отличие средних значений оценивается на основе следующей статистики:
Zср 
NK  NJ
DK / K  DJ / J
(12)
Отличие отдельных значений КП из двух этих групп выполняется на основе
статистики:
Xk  Х j
Z зн 
DK  DJ
(13)
Из последнего выражения следует, что если сравнение осуществляется между двумя
КП, принадлежащим одной сравниваемой группе показателей, то в этом случае,
последняя статистика выглядит следующим образом:
Z зн 
X k1  Х k 2
2D K
(14)
Дальнейшая проверка на значимость или существенность отличия приведенных
выше показателей (11) – (14) выполняется аналогично п. 5.2.1 путем сравнения с
порогом P.
5.3. Выявление пространственных отклонений
Выявление пространственных отклонений КП основано на методах исключения
резко (значимо) выделяющихся (аномальных) значений и заключается в следующем
1) Расчет среднего и дисперсии КП по формулам разд. 5.1
2) Определение максимального отклонения рассматриваемых значений Xk от
среднего NK . Например, для максимального значения в j-ой точке:
ΔX j  max X k  N K
k 1,K
(15)
3) Вычисление нормированного показателя отклонения
Zj 
X j
(16)
DK
и его сравнение с некоторым граничным значением (порогом) P
4) Значимое отклонение устанавливается при выполнении следующего
критерия, зависящего от числа анализируемых точек K и выбранного уровня
значимости :
Z j  P
5) В этом случае, при выполнении критерия 4) связанное с этим значение Xj
исключается, как аномальное.
9
6) После исключения очередного аномального значения вся процедура
вычислений от 1) до 5) повторяется для оставшихся значений КП. Таким
образом, при каждом выполнении процедуры вычислений возможно
выявление одного аномального значения.
7) Процесс выявления пространственных отклонений прекращается, когда для
оставшихся значений не будет выполнен критерий 5).
6. Заключение
Приведенные в работе методы нашли применение в различных автоматизированных
системах управления (в здравоохранении и торговле) и применялись к самым
различным контролируемым показателям (КП), как то:
- уровень
инфекционной
и
неинфекционной
заболеваемости
на
контролируемой территории,
- рождаемость и смертность населения,
- показатели микробного пейзажа населения, территории и расположенных на
ней объектов,
- санитарно-гигиенические показатели окружающей среды,
- контролируемые показатели социально-гигиенического мониторинга,
- обращаемость и скорость продаж товара (в торговле).
Информационные технологии - http://www.intexpro.ru/
10