Проверка согласованности экспертных оценок с

1К
УДК 65.012
И.И. Коваленко, С.А. Денежук
Учебно-научный комплекс «Институт прикладного системного анализа»
Проверка согласованности экспертных
оценок с помощью непараметрических
критериев проверки гипотез
В статье предложен алгоритм проверки согласованности экспертных оценок,
разработанный с использованием аппарата непараметрической статистики. Данный подход
позволяет выделять группы экспертов, оценки которых не являются согласованными, для
дальнейшего принятия решения.
Экспертные оценки могут считаться достаточно надежными только
при условии хорошей согласованности ответов опрашиваемых специалистов. Поэтому статистическая обработка информации, полученной от
экспертов, должна включать в себя оценку степени согласованности
мнений экспертов, в основе которой лежит процедура выделения их
однородных групп.
Возможность статистической обработки экспертных оценок в
значительной степени зависит от характера исследуемого явления и от
наличия у экспертов соответствующей информации. В зависимости от
наличия и характера имеющейся у экспертов информации возможны
четыре случая (1):
- эксперты не имеют никакой информации о функции
распределения вероятностей событий;
- эксперты
могут
частично
упорядочить
вероятности
возможных событий;
- экспертам известны границы, в пределах которых могут
пребывать вероятности событий;
- эксперты могут устанавливать вид распределения.
Рассмотрим первый случай, статистический анализ которого требует
привлечения аппарата непараметрической статистики. Пусть имеется
некоторая совокупность числовых выборок {Xi}, i=1, k, полученная по
высказываниям k экспертов, и каждая из которых имеет одинаковый объем
qj, j=1, n. Сформулируем из них случайно чередующуюся
последовательность и сформулируем следующие гипотезы:
H : F1(x)  F2(x)    Fk(x),
o
(1)
H : F1(x)  F2(x)    Fk(x),
o
«Штучний інтелект» 1’2001
69
Коваленко И.И., Денежук С.А.
1К
где F(x) – некоторая функция
распределения вероятностей,
соответствующая высказываниям каждого из экспертов.
Нулевая гипотеза Ho (гипотеза однородности, соответствующая
согласованности мнений экспертов) состоит в том, что исследуемые
выборки имеют одинаковые функции распределения и принадлежат одной
генеральной совокупности. Альтернативная гипотеза H1 свидетельствует
об обратном.
Для проверки гипотез (1) используем непараметрический k*2 –
клеточный X2 – критерий Брандта и Снедекора, в основе которого лежит
составление таблицы сопряженности признаков (табл.1). Значение
критериальной статистики вычисляется по формуле [2]:
2
q2  k x j x2 
 
  
x( q  x )  j 1 q j
q 
2
(2)
c  =(k-1) степенями свободы. Здесь: q – объем всех выборок; qj – объем
отдельной j -й выборки; x – общее число элементов выборок с признаком
«+»; xj – частота признака «+» в j-выборке.
Нулевая гипотеза принимается, если вычисленное значение X2
меньше, чем табличное значение X v2 X2. В случае, когда приходится
анализировать небольшое число выборок, например k=2 с числом степеней
свободы =1, можно использовать точный критерий Фишера и таблицы
размером 22 (табл. 2). Критериальная статистика при этом вычисляется по
формуле [2]:
qx1 q 2  x q1  x1 x 2 
,
x1  q1  x1  q2  q2  x2  x1  x2  q2  x1   q 2  x2 
2
X2 
(3)
где
q  x  (q  x )  x  (q  x ) .
1
1
1
2
2
2
Таким образом, принятие нулевой гипотезы H o позволяет сделать
вывод о том, что все исследуемые выборки являются однородными. Если
же выполняется альтернативная гипотеза, то делается предварительный
вывод о том, что выборки могут принадлежать по крайней мере к двум
различным совокупностям А и В. Данное обстоятельство требует
выполнения дополнительной проверки, подтверждающей сделанный
вывод. С этой целью сформулируем следующие гипотезы:
70
«Искусственный интеллект» 1’2001
Проверка согласованности экспертных оценок с помощью непараметрических
критериев проверки гипотез
1К
A
A
B
B
A
HoA : F1 (x)  F2 (x)    Fl (x)
B
H0B : F1 (x)  F2 (x)    Fm (x) ,
A
A
B
B
(4)
A
H1A : F1 (x)  F2 (x)    Fl (x)
H1B : F1 (x)  F2 (x)    FmB (x) ,
A
1
A
2
(5)
A
l
H1A : F (x)  F (x)    F (x)
H1B : F1B (x)  F2B (x)    FmB (x) ,
A
1
A
2
(6)
A
l
H1A : F (x)  F (x)    F (x)
H1B : F1B (x)  F2B (x)    FmB (x) ,
(7)
где k=l+m; l=m или lm.
Выполнение нулевых гипотез (4) окончательно подтверждает вывод о
том, что выборки принадлежат только двум различным совокупностям.
Выполнение альтернативных гипотез (5)(7) является показателем
того, что выборки, отнесенные первоначальной проверкой (1) только к
двум совокупностям, в действительности относятся к большему числу
классов.
Для проверки гипотез (5)(7) используем более строгий
непараметрический U -критерий Манна и Уитни, который проверяет нульгипотезу: две независимые совокупности выборок принадлежат одному
классу выборок и их функции распределения вероятностей равны. Для
вычисления статистики U упорядочим q A  q B  значения объединенной
выборки по величине, причем каждому рангу припишем, к какой выборке
он относится. Пусть сумма рангов первой совокупности выборок равна b1 ,
второй – b2 . Вычисляем
q A q A  1
 b1
2
q q  1
U 2  q A qB  B B
 b2
2
U1  q AqB 
(8)
и проверяем правильность вычислений по формуле
U1  U 2  q AqB .
(9)
Искомая статистика есть меньшее из значений U 1 и U 2 . Нуль-гипотеза
отвергается, когда вычисленное U -значение меньше критического
табличного значения U q A ; q B  . Для достаточно больших выборок
q A  q B  60 справедлива аппроксимация [2]:
U ( q AqB ) 
q A qB
q q q  q B  1
 A B A
,
2
12
(10)
где  – табличное значение нормального распределения для двух- или
одностороннего критерия. Для случая, когда величина уровня значимости не
может быть заранее задана или нет таблиц критических значений U q A ; q B  и
«Штучний інтелект» 1’2001
71
Коваленко И.И., Денежук С.А.
1К
когда объемы выборок не слишком малы
выражение [2].
q A и q B  8 , используется
q A qB
2
q A q B q A  q B  1
12
U

(11)
Полученное значение  сравнивается с таблицами стандартного
нормального распределения. Если нужно сравнить между собой больше,
чем две независимые выборки, то производят попарное сравнение.
Пример. Положим, что число экспертов k =6 и по высказываниям
каждого из них формируется выборка значений q =120. Произвольно
сформируем таблицу сопряженности признаков «+» и «–» (табл. 3).
Вычислим значение статистики X 2 :
X2 
720 2  82 2 80 2 46 2 50 2 86 2 36 2 380 2 







  19,66.
380 * 340  120 120 120 120 120 120 720 
Поскольку полученное значение X 2 =19,66 больше, чем табличное
X (25;0, 05) =11,07, нулевая гипотеза: выборки относятся к одной совокупности,
т.е. однородны, – отклоняются. Результат данной проверки позволяет
сгруппировать анализируемые выборки по принадлежности по крайней
мере к двум совокупностям A и B, и провести вторую проверку на
однородность внутри каждой из этих совокупностей
Например, к совокупности A относятся выборки со значениям
признака «+»: 82, 80, 86 (табл. 3), а к совокупности B -выборки: 46, 50, 36.
Сформируем, например, из выборок, принадлежащих B -й совокупности,
две упорядоченные выборки (табл. 4):
A : 34,36,38,40,46 (q B  5),
1
1
A : 32,35,39,41,44 (q B  5).
2
2
Вычислим:
5(5  1)
 28  12,
1
2
5(5  1)
U  55 
 27  13,
2
2
U  U  25  q B  q B .
U  55 
1
2
1
2
Так как V1 =12 U 5; 0, 05  =4 (табличное значение) и U 2 =13 U 5; 0, 05  =4, то
принимается
альтернативная
гипотеза
выборки,
составляющие
совокупность B – однородные, т.е. оценки экспертов согласованы. Таким
72
«Искусственный интеллект» 1’2001
Проверка согласованности экспертных оценок с помощью непараметрических
критериев проверки гипотез
1К
образом, рассмотренный алгоритм позволяет при полном отсутствии у
экспертов априорной информации о законе распределения вероятностей
событий, определить по крайней мере две группы экспертов, оценки
которых не являются согласованными.
Таблица 1
Выборка
1
2
.
j
.
k

Признак
+
x1
x2
.
xj
.
xk

q1-x1
q2-x2
.
qj-xj
.
qk-xk
q-x
X
q1
q2
.
qj
.
qk
q
Таблица 2
Выборка
1
2

Признак
+
x1
x2
X1+X2

-
q1-x1
q2-x2
(q1-x1)+(q2-x2)
q1=x1=(q1-x1)
q2=x2+(q2-x2)
Q1+Q2=Q
Таблица 3
Выборка
1
2
3
4
5
6

«Штучний інтелект» 1’2001
Признак
+
82
46
80
50
86
36
380

38
74
40
70
34
84
340
120
120
120
120
120
120
720
73
Коваленко И.И., Денежук С.А.
1К
Таблица 4
Ранг
1
Значение
Выборка
b1=28
32
A2
b2=27
+1
2
34
A1
+2
3
35
A2
+3
4
36
A1
+4
5
6
38
A1
+5
39
A2
+6
7
40
A1
+7
8
9
41
A2
44
A2
+8
+9
0
46
A1
+10
Литература
1. Бешелев С.Д., Гурович Ф.Г. Математико-статистические методы экспертных оценок. – М.:
Статистика, 1974. – 157 с.
2. Поллард Дж. Справочник по вычислительным методам статистики. – М.: Финансы и
статистика, 1982. – 244 с.
Материал поступил в редакцию 06.11.00.
74
«Искусственный интеллект» 1’2001