Оценка качества построения иерархических систем критериев

ОБ ОДНОМ ПОДХОДЕ К ОЦЕНКЕ КАЧЕСТВА ПОСТРОЕНИЯ
ИЕРАРХИЧЕСКИХ СИСТЕМ КРИТЕРИЕВ*
Г. В. Ройзензон
Институт системного анализа РАН,
Москва, 117312, проспект 60-летия Октября, д.9, [email protected]
При решении задачи построения иерархической системы критериев перед
исследователем возникает очень важная проблема, а именно: оценка качества
агрегирования. Вследствие этого необходима разработка системы критериев
оценки качества агрегирования. В процессе агрегирования могут возникнуть
следующие задачи: учет степени неопределенности, оценка потери
информации, необходимость по агрегированным критериям восстановить
дезагрегированный источник и ряд других проблем. В работе рассматривается
один из возможных подходов к оценке качества построения иерархических
систем критериев.
Введение
Известно сравнительно большое количество многокритериальных задач принятия
решений, ориентированных на ранжирование или выбор наилучшей альтернативы, в рамках
которых построение и дальнейшее использование иерархических систем критериев позволяет
получить существенный временной выигрыш. Особенностью таких задач является
необходимость учета большого количества технических, экономических, политических и
психологических аспектов. При этом альтернативы рассматриваются как многопризнаковые
объекты. Провести напрямую сравнение таких объектов и выбрать среди них лучший не
удается, так как эти объекты, как правило, оказываются несравнимыми. Это, в основном,
обусловлено тем, что число сравниваемых объектов, как правило, невелико (до 10), а
описывающие их признаки (например, технические и эксплуатационные характеристики)
разнообразны, различны по значениям и достаточно многочисленны (десятки и сотни). Одним
из способов преодоления вышеописанных сложностей является построение иерархических
систем критериев.
Для упрощения процедуры сравнения многопризнаковых объектов по их свойствам в
распоряжение ЛПР (лица, принимающего решение) предоставляется соответствующий
инструментарий, дающий возможности агрегирования большого числа характеристик в
небольшое число критериев, имеющих небольшие вербальные шкалы оценок, отражающих
предпочтения ЛПР.
При решении задачи построения иерархической системы критериев перед
исследователем возникает очень важная проблема, а именно: оценка качества агрегирования.
Вследствие этого необходима разработка системы критериев оценки качества агрегирования. В
процессе агрегирования могут возникнуть следующие задачи: учет степени неопределенности,
оценка потери информации, необходимость по агрегированным критериям восстановить
дезагрегированный источник и ряд других проблем.
В работе рассматривается один из возможных подходов к оценке качества построения
иерархических систем критериев. Для построения подобных систем критериев может быть
использован метод снижения размерности признакового пространства «ИСКРА» [Ройзензон,
2006], описание которого представлено ниже.
Работа поддержана программами фундаментальных исследований президиума РАН
«Фундаментальные проблемы информатики и информационных технологий» и ОИТВС РАН
«Фундаментальные основы информационных технологий и систем», Российским фондом
фундаментальных исследований (проекты 05-01-00666, 06-07-89352, 07-01-00515).
*
2
Метод снижения размерности признакового пространства «ИСКРА»
В общем виде задача снижения размерности признакового пространства может быть
представлена следующим образом:
x(1),…, x(m)y(1),…, y(m’), m’<m,
где x – исходный набор признаков, y – новый набор признаков, m – размерность
исходного признакового пространства, m’ – размерность нового признакового пространства.
Известно достаточно большое число методов снижения размерности признакового
пространства, в частности, можно упомянуть регрессионный, дискриминантный и кластерный
анализы [Айвазян и др., 1989]. Однако такие процедуры требуют «хороших» статистических
рядов, которые могут отсутствовать при решении новых задач. В ряде случаев сбор подобной
статистики может потребовать больших временных затрат, что не всегда представляется
возможным. В качестве примера подобной ситуации можно привести задачу по выбору места
размещения первого международного термоядерного реактора в рамках проекта ИТЭР.
Альтернативный подход базируется на опыте и интуиции экспертов, при содействии
которых может быть решена задача агрегирования. Так, при помощи экспертов может быть
сформирован исходный набор характеристик рассматриваемых объектов. Далее эти
характеристики необходимо объединить в независимые группы критериев, обладающих
вербальными порядковыми шкалами с небольшим числом градаций (3-5). При этом необходимо
разработать язык описания качества рассматриваемых объектов, который, с одной стороны,
будет одобрен экспертами, а с другой стороны, понятен ЛПР при осуществлении
окончательного выбора или классификации [Петровский, 1996].
Необходимо отметить, что подобная процедура может иметь итеративный характер, т.е.
полученные группы критериев могут быть в свою очередь объединены в новые группы
(следующий уровень иерархии) и т.д. О разработке порядковых вербальных шкал критериев
следует сказать отдельно, поскольку уже на данном этапе можно частично сократить
размерность рассматриваемых задач (например, при выборе числа градаций шкал критериев).
Для разработки такой процедуры необходимо рассмотреть основные типы шкал и
соответствующие операции на шкалах. Таким образом, задача сокращения размерности
признакового пространства может быть частично решена уже на стадии выбора
(преобразования) типов шкал исходных (базовых) характеристик.
В рамках метода «ИСКРА» (Иерархическая Структуризация Критериев и Атрибутов)
предлагается следующая процедура. Первоначально составляется перечень всех базовых
показателей объекта (например, список технических характеристик). Характеристики,
описывающие объекты, можно представить в виде иерархической системы, нижним уровнем
которой служат выделенные базовые показатели. Далее ЛПР, по своему усмотрению,
определяет число и состав критериев, их содержание. В качестве критерия можно выбрать один
из базовых показателей или несколько характеристик, объединенных в составной критерий.
ЛПР устанавливает, какие базовые показатели будут считаться самостоятельными критериями, а
какие будут отнесены к тому или иному составному критерию. Далее формируются
вспомогательные шкалы оценок для каждого базового показателя. Шкалы могут иметь
числовые (точечные, интервальные) или вербальные оценки. Шкалы оценок могут совпадать с
обычно используемыми на практике, либо конструироваться специально для данного критерия.
Для формирования шкал оценок по составным критериям можно воспользоваться несколькими
процедурами.
Наиболее простым и легко воспринимаемым ЛПР способом конструирования порядковой
шкалы для составного критерия является использование однотипных наборов порядковых
вербальных шкал базовых показателей и объединение одинаковых оценок в одну общую оценку
по принципу: все лучшие оценки по базовым показателям образуют лучшую оценку по
составному критерию, все средние оценки – среднюю, все худшие оценки – худшую. Более
сложные процедуры построения шкал критериев предполагают применение методов ЗАПРОС и
ЦИКЛ [Ларичев, 2006], в которых необходимо рассматривать множество всех возможных
векторных оценок в признаковом пространстве, образованном декартовым произведением
значений оценок на шкалах критериев. Метод ЗАПРОС позволяет для составного критерия
3
построить единую порядковую шкалу, формируя ее из оценок по отдельным частным
критериям.
Метод ЦИКЛ предназначен для построения полной непротиворечивой порядковой
классификации многопризнаковых объектов. В нашем случае в качестве таких
многопризнаковых объектов выступают наборы оценок по базовым показателям, образующим
составной критерий. При формировании шкалы оценок составного критерия важно также
учесть, что одна часть характеристик, входящих в состав подобного критерия, может
рассматриваться как самостоятельная, а другая часть характеристик может быть составной.
Поэтому процедура построения шкалы составного критерия сама может состоять из нескольких
этапов. Схема построения набора критериев и формирования шкал оценок представлена на рис.
1.
Рис. 1. Схема построения набора критериев и формирования шкал оценок
Предложенная методология была использована при решении практических задач
многокритериального выбора вычислительных кластеров и оценки банковских кредитов в
зависимости от степени риска [Ройзензон, 2006].
Оценка качества построения иерархических систем критериев
Рассмотрим одну из возможных систем критериев для оценки качества построения
иерархических систем критериев:
1) Компактность представления. Хорошо известно, что человеку легче сравнивать
объекты по небольшому числу критериев, и результаты таких сравнений более надежны.
Соответственно понятно стремление исследователей при решении многокритериальных задач
принятия решений разработать максимально удобную для ЛПР систему критериев, т.е.
минимизировать их число. Поэтому одним из подходов является так называемая редукция
многокритериальной задачи, в рамках которой, например, может быть произведена свертка
многих критериев к небольшому их числу (в случае перехода к единственному критерию –
скаляризация критериев) [Авен и др., 1988]. В рамках метода «ИСКРА» такая процедура
базируется на опыте и интуиции экспертов при построении иерархических систем критериев
(см. выше). Соответственно можно рассматривать компактность представления как высокую (а),
среднюю (б) и низкую (в).
4
2) Возможность по агрегированным критериям восстановить дезагрегированный
источник. В рамках процедуры, которая используется в методе «ИСКРА» при использовании
порядковых вербальных шкал критериев всегда есть возможность восстановить по
агрегированным критериям исходные данные. Определенные сложности могут возникнуть
только при переходе от более сильных шкал к более слабым. Например, в случае перехода от
шкалы отношений к шкале порядка. Этот аспект, в частности, рассматривается в работах по
теории измерений. В методах агрегирования, которые используют свертку многих критериев с
использованием весовых коэффициентов (например, MAUT [Кини и др., 1981]), восстановить
дезагрегированный источник не представляется возможным в принципе. Таким образом, при
рассмотрении построенной, тем или иным способом, иерархической системы критериев
возможность восстановления дезагрегированного источника можно оценивать так: в полном
объеме (а), частично (б) и не представляется возможным (в).
3) Оценка потери информации. Как уже отмечалось, в процессе перехода от более
сильных шкал к более слабым и при уменьшении числа градаций, в рамках какой-либо из шкал,
может возникнуть определенная потеря информации. Точно и оперативно оценить потерю
информации не всегда представляется возможным. Методология оценки потери информации
требует проведения дополнительных исследований (например в рамках теории информации) и в
рамках данной работы не рассматривается. Одним из возможных способов оценки потери
информации может служить применение вербальной порядковой шкалы со следующими
градациями: низкий (а), средний (б) и высокий (в).
Таким образом разработка системы критериев оценки качества агрегирования
информации позволяет исследователю найти разумный компромисс между необходимостью
максимально компактного представления иерархической системы критериев, которая описывает
многопризнаковые объекты и пониманием «цены» (возможный рост степени неопределенности,
потери информации), которую необходимо за это «заплатить».
Важным направлением дальнейших исследований является анализ влияния структуры
иерархической системы критериев (например, число уровней) на принятие итоговых решений.
На этот и ряд других недостаточно изученных аспектов, в частности, обращается внимание в
работах Н. Н. Моисеева в рамках теории информационных иерархических систем [Моисеев,
2003].
Выводы
Важной особенностью разработанного метода «ИСКРА» является возможность
сформировать разные наборы критериев с тем, чтобы сравнить полученные результаты для
разных вариантов с целью оценки качества выбора. Предложенный подход к оценке качества
построения иерархических систем критериев позволяет сравнить подобные наборы между собой
для выбора наилучшего в рамках решения конкретной практической задачи. Кроме того,
иерархические системы критериев могут быть построены с помощью различных
методологических подходов и предложенная система критериев также позволяет сравнить их
между собой для выбора как предпочтительной системы, так и методологии.
Литература
[Авен и др., 1988] Авен П. О., Ослон А. А., Мучник И. Б. Функциональное шкалирование. — М.:
Наука, 1988.— 182 с.
[Айвазян и др., 1989] Прикладная статистика. Классификация и снижение размерности / С. А.
Айвазян, В. М. Бухштабер, И. С. Енюков, Л. Д. Мешалкин; Под ред. С. А. Айвазяна. — М.:
Финансы и статистика, 1989. — 607 с.
[Кини и др., 1981] Кини Р. Л., Райфа Х. Принятие решений при многих критериях:
предпочтения и замещения. — М.: Радио и связь, 1981.— 560 с.
[Ларичев, 2006] Ларичев О. И. Вербальный анализ решений / Под ред. А. Б. Петровского. — М.:
Наука, 2006. — 181 с.
[Моисеев, 2003] Моисеев Н. Н. Информационная теория иерархических систем // Избранные
труды в 2-х томах / Под ред. А. А. Петрова. —М.: Тайдекс Ко, 2003.— Т. 1. Гидродинамика и
механика. Оптимизация, исследование операций и теория управления.—С. 214–266.
5
[Петровский, 1996] Петровский А. Б. Компьютерная поддержка принятия решений:
современное состояние и перспективы развития // Системные исследования. Методологические
проблемы. Ежегодник / Под ред. Д. М. Гвишиани, В. Н. Садовского.— № 24. 1995-1996. М.:
Едиториал УРСС, 1996. — С. 146–178.
[Ройзензон, 2006] Ройзензон Г. В. Снижение размерности признакового пространства с
использованием метода «ИСКРА» // Искусственный интеллект. — Т. 2.— Донецк, Украина:
Наука i освiта, 2006.— С. 339–342.