Оценка и выбор CASE-средств методом анализа иерархий

Оценка и выбор
CASE-средств
методом анализа иерархий
Источники информации




техническая документация поставщика;
доступные данные о реальных
внедрениях;
результаты выполнения пилотных
проектов;
материалы конференций и семинаров,
проводимых поставщиками и
пользователями CASE-средств.
2
Исходные данные для оценки
Параметры оценки
Компоненты параметров оценки
функциональные
управление проектом, управление
характеристики,
требованиями, управление конфигурацией и
ориентированные
изменениями, анализ и проектирование ПО
на процессы ЖЦ ИС
функциональные
характеристики
применения
среда функционирования, совместимость с
другими CASE-средствами, соответствие
технологическим стандартам
характеристики
качества
надежность, удобство использования,
эффективность, сопровождаемость,
переносимость
общие
характеристики
затраты на технологию, лицензионная
политика, оценочный эффект от внедрения
CASE-средства, инфраструктура, требуемая
для внедрения CASE-средства, доступность и
качество обучения, сертификация поставщика,
поддержка поставщика
3
Критерии оценки CASE-средств
Критерий
Трудоемкость
создания ПО
Формула Определение
Т→min
Количество человеко-месяцев,
затрачиваемых на создание ПО с
использованием CASE-средств
Продуктивность
P →max
Объем работы, приходящийся на
единицу трудоемкости при
использовании CASE-средства
Качество
создаваемого
ПО
Q →max
Количество дефектов в рабочих
продуктах при использовании
данного CASE-средства
(D-Z)/Z
→max
D - Доход от использования ПО;
Z - Затраты на создание и
сопровождение ПО
Возврат
инвестиций
4
Критерии оценки CASE-средств
Критерий
Формула
Затраты на
сопровождение
ПО
Zi /∑Zi
→min
Затраты на
внедрение
CASE-средства
Zвн →min
Определение
Отношение стоимости
сопровождения ПО при
использовании данного
CASE-средства к
совокупным затратам на
CASE-средства в
организации
Суммарная стоимость
приобретения, обучения и
сопровождения CASEсредства
5
Критерии оценки CASE-средств
Критерий
Формула Определение
Длительность
внедрения
CASEсредства
tвн →min
Временной интервал от
начала внедрения CASEсредства до выхода на
безубыточный уровень
(начало возврата
инвестиций в CASEсредство)
Срок
окупаемости
tок →min
Временной интервал от
начала внедрения CASEсредства до полной
окупаемости затрат на его
внедрение
6
Метод анализа иерархий при
выборе CASE-средств




Автором метода является Томас Саати.
Метод состоит в декомпозиции проблемы на все более
простые составляющие части и дальнейшей
обработке последовательности суждений эксперта по
парным сравнениям.
В результате может быть выражена относительная
степень взаимодействия элементов в иерархии
(интенсивность их влияния друг на друга).
Метод анализа иерархий включает процедуры синтеза
множественных суждений, получения приоритетности
критериев и нахождения альтернативных решений.
7
Схема метода анализа иерархий
Цель
Подцель 1
Критерий 1
Критерий 2
Альтернатива 1
Подцель 2
Критерий 3
Альтернатива 1
Подцель 3
Критерий 4
Критерий 5
Альтернатива 1
8



После иерархического воспроизведения
проблемы устанавливаются приоритеты
критериев и каждая из альтернатив
оценивается по проранжированным
критериям.
Сначала сравниваются попарно критерии для
определения их приоритетов, поскольку на
конечный выбор альтернативы критерии
влияют по-разному в зависимости от их
значимости.
Затем аналогичным образом сравниваются и
альтернативы по отношению к каждому из
критериев.
9
Алгоритм МАИ
1. Определение иерархии целей.
2. Установление приоритетов
критериев методом попарного
сравнения.
3. Установление приоритетов
альтернатив по каждому критерию.
4. Определение глобального
приоритета альтернатив.
10
I этап – Составление иерархии
целей
1. Определение глобальной цели
2. Определение промежуточных
целей (подцелей)
3. Определение критериев
достижимости промежуточных
целей
4. Формирование альтернатив
11
II этап – Установление
приоритетов критериев
1. Формирование матрицы попарных
сравнений критериев. (При определении
численных предпочтений используется заданная
шкала предпочтений одного сравниваемого
объекта другому.)
2. Ранжирование критериев
 Оценка компонент собственного вектора
каждого критерия
 Нормализация оценок
3. Оценка согласованности матрицы
12
Шкала предпочтений
объектов
Степень
превосходства (b)
Описание степени превосходства
0
Объекты не сравнимы
1
Объекты одинаково важны
3
Умеренное превосходство одного над другим
5
Существенное превосходство одного над
другим
7
Значительное превосходство одного над
другим
9
Абсолютное превосходство одного над другим
2,4,6,8
Промежуточные значения степеней
превосходства
13
Матрица попарного сравнения
критериев
аij = b, аji = 1/b → матрица диагональная и обратно
симметричная
Критерий
1
...
Критерий
j
...
Критерий n
Критерий
1
1
...
а1j
...
а1n
...
...
а i1
...
а n1
...
...
...
...
...
аij
...
аnj
...
...
...
...
...
аin
...
1
Критерий i
...
Критерий
n
14
Ранжирование критериев


Оценка компонент
собственного вектора
каждого критерия
N
yi  N  a ij
j1
Нормализация оценок
y iн показывает вклад каждого критерия
в достижение цели
y iн 
(1)
yi
N
 yi
(2)
i1
15
Оценка согласованности матрицы
n
1) Вычисление
λi   a ij  yiн (3)
максимального
i 1
собственного числа
матрицы (λmax)
λ max  n
2) Вычисление индекса
ИС 
согласованности (ИС)
n 1
3) Вычисление оценки
ОС = ИС/СC
согласованности (ОС )
n
λ max   λ i
i 1
(5)
(6)
Значения случайной согласованности (СС)
n
СС
1
2
3
4
5
6
7
8
9
10
0
0
0,58
0,9
1,12
1,24
1,32
1,41
1,45
1,49
ОС ≤ 0,1
0,1<ОС ≤ 0,2
ОС > 0,2
матрица согласованна
согласованность матрицы приемлема
согласованность матрицы не
16
(4)
Сводная таблица для расчета
приоритета критериев/альтернатив
Критерий 1 ... Критерий j
...
Критерий n
yi
yiн λi
Критерий 1
1
... а1j
... а1n
y1
y1н λ1
...
...
... ...
... ...
...
...
Критерий i
а i1
... аij
... аin
yi
yiн λi
...
...
... ...
... ...
… … …
Критерий n
а n1
... аnj
... 1
yn
ynн λn
… Kj
… Kn
Y
1
Суммы
по K
1
столбцу
…
λmax
17
III этап – Установление приоритетов
альтернатив по критериям
Альтернативы сравниваются попарно с целью получения
локальных векторов приоритета по каждому критерию.
Матрица попарных сравнений альтернатив по i-му критерию
Альтернатива
1
...
Альтернатива i
...
Альтернатива k
Альтернатива
1
1
...
x1j
...
x1k
...
...
...
...
Альтернатива
i
x i1
...
...
xij
...
xik
...
... ...
... ...
...
В результате для каждого i-го критерия будет получен
... xkj
... 1
Альтернатива
x k1 вектор приоритетов
нормализованный
альтернатив
...
k
x1iн, …, хkiн.
18
IV этап – Определение глобального
приоритета альтернатив
Нормализованны
й вектор
приоритетов
критериев
Альтернатива 1
…
Альтернатива k
Крит. 1
Крит. 2
…
Крит. j
… Крит. n
y1н
y2н
… yjн
… ynн
x11н
…
xk1н
x12н
…
xk2н
… x1jн
… …
… xkjн
… x1nн
……
… xknн
Оценка
A1
…
An
n
Ai   (x ijн  y jн )
j1
(7)
Aopt=max Ai (8)
19
Пример применения МАИ
Исходные данные
Проект 1
Требуемые
вложения
Срок
реализации
Количество
рабочих мест
Качество
документации
Проект 2 Проект 3
5 млн.
руб.
3 года
5,5 млн.
руб.
2 года
4,5 млн.
руб.
3 года
20
5
Нет
среднее
низкое
высокое
20
Пример применения МАИ.
Иерархия целей
Выбор оптимального
проекта
Требуемые
вложения
Проект 1
Срок
реализации
Количество
создаваемых
рабочих мест
Проект 2
Качество
документации
Проект 3
21
Матрица попарных сравнений
критериев
КРИТЕРИИ
Требуемые
вложения
Срок реализации
Количество
рабочих мест
Качество
документации
Требуемые
вложения
1
Срок
Количество
реализации рабочих мест
3
5
Качество
документации
9
1
1
1
22
Матрица попарных сравнений
критериев
КРИТЕРИИ
Требуемые
вложения
Срок
реализации
Количество
рабочих мест
Качество
документации
Требуемые
вложения
Срок
реализации
Количество
Качество
рабочих мест документации
1
3
5
9
1/3
1
3
5
1
1
23
Матрица попарных сравнений
критериев
КРИТЕРИИ
Требуемые
вложения
Требуемые Срок
Количество
вложения
реализации рабочих мест
Качество
документации
1
3
5
9
Срок
реализации
1/3
1
3
5
Количество
рабочих мест
1/5
1/3
1
7
Качество
документации
1
24
Матрица попарных сравнений
критериев
КРИТЕРИИ
Требуемые
вложения
Требуемые
вложения
Срок
реализации
Количество
Качество
рабочих мест документации
1
3
5
9
Срок
реализации
1/3
1
3
5
Количество
рабочих мест
1/5
1/3
1
7
Качество
документации
1/9
1/5
1/7
1
25
Расчет нормализованного вектора
приоритетов критериев
N
yi  N  a ij (1)
j1
КРИТЕРИИ
Требуемые
вложения
Требуемые
вложения
Срок
реализации
Количество
рабочих
мест
Качество
документации
yi
1
3
5
9 3,409
Срок
реализации
1/3
1
3
5 1,495
Количество
рабочих
мест
1/5
1/3
1
7 0,827
Качество
документации
1/9
1/5
1/7
1 0,237
26
Расчет нормализованного вектора
приоритетов критериев
N
y iн 
yi  N  a ij (1)
j1
КРИТЕРИИ
Требуемые
вложения
yi
N
 yi
(2)
i1
Требуемые
вложения
Срок
реализации
Количество
рабочих
мест
Качество
документации
yi
yiн
1
3
5
9
3,409
0,571
Срок
реализации
1/3
1
3
5
1,495
0,251
Количество
рабочих
мест
1/5
1/3
1
7
0,827
0,138
Качество
документации
1/9
1/5
1/7
1
0,237
0,040
5,968
27
1
Расчет согласованности матрицы
n
n
λi   a ij  yiн (3) λ max   λ i (4)
i 1
i 1
КРИТЕРИИ
Срок
реализац
ии
Требуемые
вложения
Требуемые
вложения
λ max  n
ИС 
(5)
n 1
Количество
рабочих
мест
Качество
документации
ОС = ИС/СС
yi
yiн
(6)
λi
1
3
5
9
3,409
0,571
0,939
Срок
реализации
1/3
1
3
5
1,495
0,251
1,136
Количество
рабочих мест
1/5
1/3
1
7
0,827
0,138
1,266
Качество
документации
1/9
1/5
1/7
1
0,237
0,040
0,875
1,64
4,53
9,14
22,00
5,968
1
4,216
Суммы
ИС = 0,072
СС=0,9
ОС=0,08
Матрица согласована
28
Матрица попарных сравнений
альтернатив по критерию
«Требуемые вложения»
Проект 1 – 5 млн. руб.,
Проект 2 – 5,5 млн. руб.,
Проект 3 – 4,5 млн. руб.
Альтернативы
Проект 1
Проект 2
Проект 3
Проект 1
1
3
1/3
Проект 2
1/3
1
1/5
Проект 3
3
5
1
29
Расчет нормализованного вектора
приоритетов альтернатив по критерию
«Требуемые вложения»
y iн 
N
yi  N  a ij
j1
Альтернативы
yi
N
 yi
i1
yi
Проект 1
Проект 2
Проект 3
Проект 1
1
3
1/3
1,000
0,258
Проект 2
1/3
1
1/5
0,405
0,105
Проект 3
3
5
1
2,466
0,637
3,872
1
yiн
30
Расчет согласованности матрицы
n
n
λ max   λ i
λi   a ij  yiн
i 1
i 1
Альтернативы
ИС 
λ max  n
n 1
yi
λi
Проект 1
Проект 2
Проект 1
1
3
1/3
1,000
0,258
1,119
Проект 2
1/3
1
1/5
0,405
0,105
0,943
Проект 3
3
5
1
2,466
0,637
0,977
4,33
9,00
1,53
3,872
1,000
3,039
Суммы
ИС = 0,019
СС=0,58
Проект 3
ОС = ИС/СС
ОС=0,033
yiн
Матрица согласована
31
Матрица попарных сравнений
альтернатив по критерию
«Сроки реализации»
Проект 1 – 3 года,
Проект 2 – 2 года,
Проект 3 – 3 года.
Альтернативы
Проект 1
Проект 2
Проект 3
Проект 1
1
1/5
1
Проект 2
5
1
5
Проект 3
1
1/5
1
32
Расчет нормализованного вектора
приоритетов альтернатив по критерию
«Сроки реализации»
y iн 
N
yi  N  a ij
j1
Альтернативы
yi
N
 yi
i1
yi
Проект 1
Проект 2
Проект 3
Проект 1
1
1/5
1
0,585
0,143
Проект 2
5
1
5
2,924
0,714
Проект 3
1
1/5
1
0,585
0,143
4,094
1
yiн
33
Расчет согласованности матрицы
n
n
λ max   λ i
λi   a ij  yiн
i 1
i 1
Альтернативы
ИС 
λ max  n
n 1
yi
λi
Проект 1
Проект 2
Проект 1
1
1/5
1
0,585
0,143
1
Проект 2
5
1
5
2,924
0,714
1
Проект 3
1
1/5
1
0,585
0,143
1
Суммы
7
1,4
7
4,094
1,000
3
ИС = 0
СС=0,58
Проект 3
ОС = ИС/СС
ОС=0
yiн
Матрица согласована
34
Матрица попарных сравнений
альтернатив по критерию
«Количество создаваемых рабочих
мест»
Проект 1 – 20,
Проект 2 – 5,
Проект 3 – нет.
Альтернативы
Проект 1
Проект 2
Проект 3
Проект 1
1
7
9
Проект 2
1/7
1
3
Проект 3
1/9
1/3
1
35
Расчет нормализованного вектора
приоритетов альтернатив по критерию
«Количество создаваемых рабочих
мест»
y iн 
N
yi  N  a ij
j1
Альтернативы
yi
N
 yi
i1
yi
Проект 1
Проект 2
Проект 3
Проект 1
1
7
9
3,979
0,785
Проект 2
1/7
1
3
0,754
0,149
Проект 3
1/9
1/3
1
0,333
0,066
5,066
1
yiн
36
Матрица попарных сравнений
альтернатив по критерию
«Качество документации»
Проект 1 – среднее,
Проект 2 – высокое,
Проект 3 – низкое.
Альтернативы
Проект 1
Проект 2
Проект 3
Проект 1
1
1/3
3
Проект 2
3
1
5
Проект 3
1/3
1/5
1
37
Расчет нормализованного вектора
приоритетов альтернатив по критерию
«Качество документации»
N
yi  N  a ij
y iн 
j1
Альтернативы
yi
yi
N
 yi
i1
Проект 1
Проект 2
Проект 3
Проект 1
1
1/3
3
1,000
0,258
Проект 2
3
1
5
2,466
0,637
Проект 3
1/3
1/5
1
0,405
0,105
3,871
1
yiн
38
Расчет глобальных приоритетов
n
Ai   (x ijн  y jн )
j1
Требуемые
вложения
Количество
Сроки
Качество
рабочих
реализации
документации
мест
Нормализованный вектор приоритетов критериев
Глобальные
приоритеты
Альтернативы
Критерии
0,571
0,251
0,138
Проект 1
0,258
0,143
0,785
0,258 0,302
Проект 2
0,105
0,714
0,149
0,637 0,285
Проект 3
0,637
0,143
0,066
0,105 0,413
Aopt=max Ai
0,040
39