БОЛЕЕ СЛОЖНЫЕ ПРОЦЕДУРЫ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ

Переход от лекции 1:
3. Методы получения экспертных оценок
. . . . . . . .. . . …..
3.2. Методы получения коллективных оценок
3.2.1. Принцип выбора Кондорсе
3.2.2. Метод дискуссий
3.2.3. Метод суда
Под редакцией Матевицкой Н.Е. (тех. поддержка Плетнев В.В.)
ЛЕКЦИЯ 2
БОЛЕЕ СЛОЖНЫЕ ПРОЦЕДУРЫ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ
(метод Делфи, метод последовательного сопоставления, процедура настройки критерия)
3.2.4.Метод Делфи
“Середина – точка, ближайшая к мудрости.”
Конфуций
1.
2.
3.
анонимность (отличие от дискуссий) = опросники , ЭВМ и т.п.
регулируемая обратная связь = несколько туров, результаты обрабатываются и сообщаются
групповой ответ
Предпосылки (необходимые условия для возможности использования):
1. ответы на вопросы в виде числа
2. наличие у эксперта информации, достаточной для оценивания
3. по запросу организаторов эксперты-участники должны быть готовы обосновать ответы на вопросы
I тур: эксперты дают ответы в виде анкет  обработка
Аналитическая группа представляет результаты в виде распределения: РИС1
Р(Х)
Х
25% Q1
M(X)
Q2 25%
Медиана М(х) = групповой ответ I тура.
Стандартное отклонение определяют 25-ти % квантили = x < Q1 и x > Q2 : интервал Q2 – Q1 - показатель разброса индивидуальных оценок.
Для крайних оценок спрашивают обоснование.
II тур: экспертам дается информация о стандартных отклонениях и их обоснования.
Эксперты уточняют свои оценки -> обработка аналитической группой
Процедура повторяется до достижения требуемой точности, обычно 4-5 итераций (туров); но иногда вместо
сходимости оценки расходятся из-за измененных точек зрения экспертов.
Метод действует и развивается.
Улучшение групповой оценки в результате итераций основано на двух предположениях:
- ответы экспертов, не изменяющих оценки (уверенных), ближе к истине, чем неуверенных
- среднее оценок экспертов, изменяющих ответ, сдвигает к среднему «уверенных»
Объяснение – использование экспертами информации, не учтенной в I туре.
Недостатки:
1. влияние на результат экспертизы состава группы
2. трудность продуманной подготовки вопросов
3. недооценка новых факторов
4. пессимизм в долгосрочных и оптимизм в краткосрочных прогнозах
5. опасность поверхностного анализа
6. возможность сознательного искажения результатов организаторами
4. Методы определения весовых коэффициентов целей (методы свертки)
См. раздел 1 – второе применение экспертных методов (при решении оптимизационной векторной, или многокритериальной, задачи с набором трудно сопоставимых целей).
4.1. Метод последовательных сопоставлений целей и оценок (метод Черчмена – Акофа)
Это метод последовательного улучшения (уточнения) оценок одного эксперта; может использоваться для определения относительных весов предметов или свойств предметов, а также для объединения индивидуальных
предпочтений в групповые.
1. Свойства оцениваемых целей Оi (результатов, альтернатив)
а. результаты Оi дискретны (м. б. даже двоичны)
б. не совместны (нельзя С < 5 и С > 10)
в. независимы (нельзя С< 5 и С < 10 , а можно С< 5 при Р > 0.99)
г. однонаправлены (все цели или МАХ или МIN)
2. Свойства оценок Vi :  результату (альтернативе, цели) Оi ставим в соответствие число Vi  [0, 1], Vi = V(Oi)
а. независимость: V(Oi)  f (V(Oi))
б. монотонность: Oi  Oj  Vi > Vj
Здесь:  - отношение предпочтительности;
Oi ~ Oj  Vi = Vj
~ - отношение эквивалентности.
в. аддитивность: совместное осуществление альтернатив V (Oi  Oj) = Vi + Vj
Из б. и в. следует транзитивность оценок: Oi  Oj  Ok  Vi > Vj > Vk
Другими словами, можно рассматривать комбинации альтернатив и их оценки
Шаги метода
1. упорядочить альтернативы (результаты) по их «полезности»: O1 = O2=… = Om
2. эксперт указывает предварительные (подлежащие уточнению) числовые оценки и «забывает» о них
V(O1) = 1 Vi  [0, 1] i = 2m
3. последовательность сравнений:
(Здесь R = (    ~) – экспертное мнение, R’ = (>  <  =) – соотношение оценок)
Осуществляем последовательность сравнений по шагам: пока R =  двигаемся вниз, иначе право; если
R  R’ , то корректируем Vi , чтобы R = R’ и идем дальше.
O1 R (O2 + O3 +…+ Om)
V1 R’ (V2 + V3 +…+ Vm)
O1 R (O2 + O3 +…+ Om - 1)
V1 R’ (V2 + V3 +…+ Vm – 1)
…
O1 R (O2 + O3)
V1 R’ (V2 + V3)
O2 R (O3 + O4 +…+ Om)
V2 R’ (V3 + V4 +…+ Vm)
O2 R (O3 + O4 +…+ Om - 1)
V2 R’ (V3 + V4 +…+ Vm - 1)
…
O2 R (O3 + O4)
V2 R’ (V3 + V4)
Нормирование полученных оценок Vi’:
Vi Н 
Vi
…
Om - 2 R (Om - 1 + Om)
Vm - 2 R’ (Vm - 1 + Vm)
…
Stop
…
…

m
V

, чтобы  Vi Н = 1
i
i 1
Для m > 7 – модификация процедуры (разбиение на группы)
1. упорядочиваем m результатов Oi (без количественных оценок)
2. случайно выбираем некоторый эталонный результат OS
3. оставшиеся разбиваем на группы (непересекающиеся) по 4-5 шт (пересечение групп = 0; объединение
групп и OS = исходное множество)
4. в каждую группу добавляем OS (и пусть VS = 1)
5. применим метод для каждой группы, причем корректируя Vi , оставим без изменений VS = const
6. сравним оценки, полученные по п.5 (после последовательных переоценок-корректировок) с
упорядочиванием п.1, если результаты не совпадают, то повторяем п.2-5, пока не совпадут
7. нормируем оценки
Процедура работоспособна для оценки соотношений в совокупности альтернатив (результатов), факторов (целей), индивидуальных оценок при объединении в групповые.
**************************************************************************************
Численный пример: О1  О2 + О3 + О4 + О5
Начальные V: 1 0,6 0,25 0,2 0,1
После коррекции V: 1 0,6 0,35 0,2 0,1
O2  O3 + O 4 + O 5
0.6 > 0.55 =>
O1  O2 + … + O5
O3  O4 + O 5
1 < 1.15
=> V3’ = 0.35 =>
0.35 > 0.3
=> 0.6 < 0.65
O1  O2 + … + O 4
O2  O3 + O 4
Stop
1 < 1.05
0.6 > 0.55
O1  O2 + O 3
1 > 0.85
Эксперт сравнивает результаты (альтернативы), а не их оценки, которые он дал на 2 шаге (и может забыть).
Организатор экспертизы должен сопоставить результаты R сравнения альтернатив и результаты сравнения
оценок (чисел) R’, причем, если R’  R – корректировать числовые оценки Vi , но чтобы не нарушать
соотношения на предыдущих шагах (лучше корректировать V1, а V2 , V3 = const).
В результате последовательных сравнений и уточнений получаем набор уточненных оценок, удовлетворяющих
всем соотношениям: V1’ , V2’ , … , Vm’ и нормируем оценки, чтобы  = 1: Vi Н

Vi

V 
m
i
i 1
Количественные оценки метода
1. метод работоспособен при m = 5  7
2. есть повторяемость оценок, но нет сведений о точности или смещении (как для всех экспертных методов).
Для получения более точных результатов (но более трудоемких) – больше вариантов сравнения.
Поочередно исключаем 1 элемент (*), необязательно последний.
O1 R (O2 + O3 +…+ Om)
O2 R (O3 + O4 +…+ Om)
…
Om - 2 R (Om - 1 + Om)
O1 R (O2 + O3 +…+ Om - 1)
O2 R (O3 + O4 +…+ Om – 1)
…
Stop
O1 R (O2 + O3 +…+ Om - 2 + Om )
O2 R (O3 + O4 +…+ Om – 2 + Om)
…
O1 R (O2 + O3 +…+ Om – 2 )
…
…
(*) O1 R (O2 + …+ Om - 3 + Om – 1 + Om)
…
…
(*) O1 R (O2 + …+ Om - 3 + Om – 1)
…
…
(*) O1 R (O2 + …+ Om – 3 + Om)
…
…
O1 R (O2 + …+ Om – 3)
…
…
…
…
…
O1 R (O2 + O3)
O2 R (O3 + O4)
…
4.2. ПРОЦЕДУРА НАСТРОЙКИ КРИТЕРИЯ НА ОСНОВЕ СРАВНЕНИЯ АЛЬТЕРНАТИВ
(Смотри задачник, п.4.6, с.66)
Многокритериальная оптимизация в сложных трудноформализуемых системах ставит задачу объединения
ряда частных показателей Хi (i = 1n) в комплексный критерий L, являющийся критерием эффективности
функционирования системы. В реальной оптимизационной задаче целевая функция не является заранее заданной и должна формироваться с привлечением эвристических методов. При свертке разнородных показателей в
комплексный критерий возникают две проблемы:
1.
2.
сочетание показателей Хi различных размерностей (масштабирование разнородных показателей)
выбор вида функциональной зависимости L от {Xi}
Простейшей и наиболее употребительной формой функциональной зависимости L( X ) является форма взвешенного аддитивного критерия L 
n
 x
i
i
, где i – коэффициент относительной важности показателей, или
i 1
весовые коэффициенты. Комплексный критерий такого вида представляет собой линейную модель критерия и
может рассматриваться как линейная целевая функция оптимизационной задачи. Но такая форма объединения
показателей допустима не всегда.
Решение оптимизационной задачи, соответствующее экстремуму L, может рассматриваться как искомое,
если можно допустить взаимную компенсацию частных показателей (например, это допустимо при чисто экономическом подходе). Однако возможны случаи, когда неприемлема компенсация одних показателей за счет
других, т.е. когда решение, оптимальное по комплексному критерию L, может оказаться неудовлетворительным по некоторым из частных показателей Xi . Это обстоятельство ограничивает использование аддитивной
взвешенной функции для свертки показателей. В таких случаях либо следует вводить дополнительные ограничения на некоторые из Хi , либо использовать другую форму функциональной зависимости. А если можно допустить взаимную компенсацию показателей, то
L=
(1).
Известны различные методы построения функциональной зависимости L( X ) : статистический, экспертный
и экспертно-статистический.
Чисто статистические методы представляют собой обособленный класс формальных методов, применение
которого к задачам оптимизации требует учета многочисленных ограничений и условий и нуждается в специальном обосновании.
Чисто экспертные методы сводятся к тому, что эксперты чисто субъективно (непосредственно) задают значения весовых коэффициентов i , которые в сочетании со значениями частных показателей Х i определяют
значение комплексного критерия L.
Экспертно-статистические методы сочетают достоинства экспертного и статистического методов (без излишнего формализма первого и полной субъективности второго). Здесь экспертам предоставляется информация
об объектах, о характеризующих их показателях и о целях (критериях) оценивания; на основе этой информации
эксперты дают объектам комплексные оценки в целом. Затем исходная информация и результаты оценивания
подвергаются статистической обработке для выявления функциональной зависимости экспертных оценок комплексного критерия от частных показателей; полученная зависимость используется в дальнейшем в качестве
модели системы предпочтений (СП) эксперта для вычисления значений комплексного критерия.
В качестве примера экспертно-статистической процедуры рассмотрим процедуру настройки критерия, заключающуюся в преобразовании экспертных оценок альтернатив в весовые коэффициенты i при показателях
Хi аддитивного критерия (1):
n
L    i xi .
(1)
i 1
Здесь Хi – значения частных показателей, в общем случае противоречивых и разнородных; процедура позволяет
установить масштабные соотношения между частными показателями как количественного характера (техническими и экономическими), так и качественного характера (приоритеты, риск для человека и т. п.). Полученный
с помощью процедуры формальный критерий (4.1) позволяет заменить эксперта его моделью (или моделью
системы предпочтений) в задачах выбора альтернатив, как управленческих, так и чисто технических. К таким
задачам относятся:
- задачи оценки научно-технического уровня разработки;
- задачи поиска ряда технических решений, равноценных по результатам, хотя и принципиально
различных по применяемым средствам (задачи классификации);
- задачи экономической оценки явлений, характеризующихся в числе прочих и рядом
трудноформализуемых показателей (таких, как риск для человека, директивные указания, интуитивные приоритеты и запреты и пр.);
- задача выбора направления работ и прогнозирования развития техники.
Исходные данные для применения процедуры: (во-первых, числа m и n) эксперту предоставляют набор m альтернатив, оцененных по n объективным частным показателям, т.е. матрицу альтернатив
1
j
Графическое представление
m
Х1
X11
…
…
…
X1m
1
Xi
Xi1
…
Xij
…
Xim
i
Xn
Xn1
…
…
…
Xnm
n
L0
=L10
…
=Lj0
…
=Lm0
R
R1
…
Rj
…
Rm
Этапы выполнения процедуры:
1. ЭКСПЕРТНЫЙ ЭТАП (выявление системы предпочтений эксперта)
Эксперт оценивает альтернативы, используя один из методов экспертного оценивания – (реализованы все рассмотренные методы, наиболее удобны для эксперта – метод парных сравнений и метод идеальной точки); в результате формируется строка рангов альтернатив, т.е. {Rj}
2. СТАТИСТИЧЕСКИЙ ЭТАП (собственно настройка параметров i критерия L)
За основу для нахождения весовых коэффициентов i берутся коэффициенты корреляции i показателя Xi и
строки R ранговых оценок (идея: приблизительно пропорционально i (i), т.е. чем больше i (чем теснее связь
Xi и R), тем больше коэффициент i относительной важности показателя Xi (см. графическое представление)).
i 
cov( X , Y )
 X Y

M [( X  M X )  (Y  M Y )]
;
D X DY
Для величин {X} и {R}
1 m
 j1 ( X ij  M X )  ( R j  M R )
i  m
;  1  i  1
1
1
( X ij  M X ) 2
(R j  M R )2
m
m
Таким образом основной предпосылкой процедуры является то, что все весовые коэффициенты i связываются
с соответствующими i одной и той же зависимостью i = f (i).
Процедура имеет две модификации, отличающиеся структурой зависимости (4.3) весового коэффициента i
от коэффициента корреляции I , соответствующего i-ой строке матрицы Q. Первая модификация основана на
линейной зависимости
i = a0 + a1 i
(2).
Поскольку линейная модель (4.4) не всегда обеспечивает адекватность настраиваемого критерия L системе
предпочтений эксперта, т.е. допускает случаи 0  1 (0 < 1), разработана вторая модификация процедуры. Здесь
используется модель зависимости в виде степенного ряда:
i  k 0 ak ik
p
(3).
Подбор вида и параметров этой зависимости f направлен на достижение наилучшего согласования синтезируемого критерия L с моделируемым критерием эксперта, т.е. на максимизацию общего коэффициента корреляции 0 между последовательностями оценок вариантов по настраиваемому критерию L0 (последовательность
{L0(j)} ) и по эталонному критерию эксперта (ранги вариантов по мнению эксперта).
При заданной структуре зависимости поиск ее параметров определяет оптимизационный характер ПНК.
На рисунке показано, что значение критерия L0j получается суммированием по столбцам: L0 j 
n
 x
i
ij
,
i 1
где i определяется по формуле (2) или (3) (i известно);
Xij – элементы матрицы альтернатив (см. рисунок).
Для определения параметров аk зависимостей (2, 3) и, в конечном счете, коэффициентов i , строится зависимость (формула или система соотношений) для степени статистической связи
 0 [{L0 j }{R j }]   0 ( a0 ,..., ak )
и подбираются (или вычисляются) параметры a0 , … , ak такие, чтобы 0  max. Если удается достигнуть max 0
= 1, значит настраиваемый критерий L0 представляет собой адекватную модель системы предпочтений эксперта.
Имеются различные схемы максимизации 0 (см. задачник, с. 69).
Реализация процедуры настройки критерия в рамках лабораторной работы (по дисциплине САПР АСУ) содержит оптимизационный диалоговый пакет прикладных программ FWC (по первой модификации процедуры),
а также методику применения стандартного пакета диалогового решения задач линейного программирования
(по второй модификации). Выбор метода экспертного оценивания, а также выбор модификации процедуры и
соответствующего метода оптимизации осуществляется в диалоговом режиме, т.е. поддерживается
разработанными программными средствами.
Комплекс разработанных программных средств образует систему поддержки принятия решений, обеспечивающую как реализацию процедуры настройки критерия, так и этап применения критерия в процессе принятия
решений в организационных и технических задачах. Это соответствует применению процедуры в областях автоматизации управления и автоматизации проектирования, предполагающих использование вычислительной
техники и развитых программных средств для целей выбора: структур, механизмов экономических взаимосвязей, технических решений, методов решения технической задачи и пр.
Таким образом, в процессе применения процедуры выполняется настройка параметров i критерия
n
L    i xi (формула 1) с заданной структурой, т.е. в результате получаем формальную модель системы
i 1
предпочтений эксперта. Смысл – можно заменить эксперта (например, в задаче подбора кадров): настройка модели осуществляется на тестовом наборе альтернатив, а для оценивания больших объемов данных уже используется модель.
См. ПРИМЕР
(на след. стр.)
ПРИМЕР
Задача подбора кадров
Тестовый набор
Альтернативы (анкеты потенциальных работников)
Xi
Э
R
L1
ПНК
i (i)  L
Lm
упорядочивание
L1’ < … < Lm’
отсортированная база данных
k
отбор списка k < m кандидатур.
Рис.2 Задача подбора кадров
Э – эксперт
ПНК – процедура 4.2